오늘 한 일
vllm 적용
- 코드 자체는 다 짜 놓은 상태다.
- 근데 자잘한 부분에서 이슈가 나는 중이라 그 부분만 잡으면 vllm 적용 실험을 해볼 수 있을 것 같다.
- 빨리 개인회고 다 쓰고 그거 마저 하러 가야 되는 상황이다.
프로젝트 매니징
- 오늘 LLM-Pruner를 접기로 했다….
LLaMA3.2-3B에 25% pruning을 진행했는데, 1B보다도 안 좋아진 것 같아서 포기하는 게 좋을 것 같다고 결론내렸다….
- 그리고 1-bit LLM이랑 RIA 같은 경우는 아직 제대로 실험을 못 돌려봐서 내일은 빠따각을 잡아야 할 것 같다.
다음에 할 일
- vllm 실험 진행
- 추가로 진행해야 할 태스크 찾아보기