오늘 한 일
- KorQuAD 데이터 증강을 위한 코드를 작성했다.
- 작성한 다음은 여러 모델로 실험을 돌리면서 수치를 좀 찍어봤다.
- 지금 쓰고 있는 모델이
klue/bert-base라서 KLUE-MRC로 학습한 모델이라 쓰면 안될 것 같아서 여러 가지 바꿔보고 있다.
- 저번 프로젝트에서 써본
snunlp/KR-ELECRTA-discriminator를 이번에도 적용해보고 있는데, 아직 실험 결과가 안나왔다.
- 모델 크기가 너무 작으면 증강을 해봤자 큰 소용이 없는 것 같기도 하다는 홍 모 캠퍼님의 의견이 있었다. 그게 맞는 것 같다.
오늘의 고민
- 고민 겸 가볍게 써보는 프로젝트 회고
- 아마 우리 팀의 프로젝트는 새로운 걸 시도하고 다시 실험하기까지는 너무 시간이 부족한 것 같아서, 그냥 모델 바꿔가면서 성능 올라가길 기대하는 것 말고는 리더보드에 영향을 줄 수 있는 건 없을 것 같다.
- 어쩌다가 이렇게 되어버렸을까?
- 돌이켜 생각해보면 reader랑 retriever를 나누어서 작업을 했어야 했을 것 같기도 하다.
- 그리고 이번에는 뭔가 데드라인 없이 할 수 있는 만큼 계속 하다보니까 성능이 안 나와도 (그럼 성능을 뽑아야 하니까) 계속 시간을 박은 게 좀 크지 않았나 생각한다.
- 그리고
streamlit에 너무 많은 투자를 하지 않았나…
- 구현이 오래 걸리는 것도 사실은 모듈화가 잘 되지 않아서 그런 것 같기도 하다. 뭐 하나 고치는 데 여기저기서 버그가 터지니까…
- 근데 사실 데이터 증강은 KorQuAD 데이터셋으로도 충분하다고 생각이 드는데, 데이터 전처리 같은 건 STS 프로젝트할 때는 크게 성능 변화가 없었어서 reader 성능을 올린다고 해도 뭘 했어야 할지 감이 지금도 안 잡힌 상태다.
다음에 할 일
- 마저 모델 실험?
- 지금 돌리는 거 다 돌리면 Generation 모델로 시도해보고 싶다.
- 그리고 wrap-up 레포트를 미리 쓰는 것도 좋을 것 같기도 하고…
- 구인구팀 페이지도 마저 채워놔야 겠다.