오늘 한 일
- vllm 적용을 위한 코드 작성 및 리팩토링
- 경량화를 위해 조사 해본 방법론들이 추가 학습이 필요하는 등 이슈가 발생해서 손절각을 잘 잡아야 할 것 같다.
- 추가로 손절하고 나서는 어떤 걸 더 해볼지도 고민이 필요할 것 같다.
- 리더보드를 보니 점수가 올라가고 있길래, 당연히 다들 모델 줄이는 데에 초점을 맞출 줄 알았는데 높이고 있어서 살짝 당황했다.
- Knowledge Distillation 하려고 하는 걸 수도 있고… 잘 모르겠다.
- Deepspeed나 Unsloth만 적용할 수 있으면 선택의 폭이 많이 넓어질 것 같아서 되면 좋을 것 같다.
다음에 할 일
- vllm 적용
- 손절각 잡고 추가로 할만한 task 조사