오늘 한 일

vllm 적용한 게 추론 속도에 큰 영향을 주지 못했다….
- 오히려 batch size가 작아질 때는 속도가 느린 경우도 있었다.
- 오늘 멘토링 때 vllm 논문 리뷰를 하기로 했어서 글을 작성해두었다: 링크
  - 논문을 되게 급하게 봐서 놓친 부분이 많은데… 결과적으로는 멘토링 때 논문리뷰를 안해서 보강할 수 있을 것 같다!
그 외 여러가지 방법을 시도해보고 있는데 다 잘 안된다….
- Deepspeed나 Unsloth같은 학습 프레임워크를 써도 전혀 안빨라지고…
  - 1 epoch에 하루하고도 10시간 걸리는데 이게 맞나 싶다.
    - 근데 멘토님께서 말씀하시길 이 정도면 그냥 무난한 편이라고 하신다. 그냥 돌리는 게 맞을 듯….
이렇게 좀 정체된 상태였는데, 이 모 캠퍼님께서 좋은 아이디어를 주셔서 모델 파이프라인을 직접 재설계해보면 좋을 것 같다는 생각이 들었다. 이름을 지으면 좋을 것 같아서 다 함께 고민해봤는데 기가차드라고 했다 ㅋㅋ: 링크

다음에 할 일