오늘 한 일
- 일주일 동안 쉬었더니 블로그를 쓰는 걸 깜빡했다.
- 그래서 자기 전에 누워서 아이패드로 부랴부랴 쓰는 중이다.
- 연휴 이후로 처음 팀원들을 만나 프로젝트에 대한 이야기를 진행했다.
- 연휴 기간을 이용해서 프로젝트의 baseline 코드를 분해해서 폴더 구조를 만들었다.
streamlit을 이용해서 간단한 EDA도 진행해보았다.- 다른 팀원분은 간단한 데이터 증강 코드를 완성해주셨다.
- 그래서 이제 뭘 할 것인가?
config.yaml파일로 실험을 관리하고 있는데 이게 강건(robust)한지 확인하기 위해서 최대한 여러 개의 모델을 돌려보며 오류가 발생하지 않는지 확인해보았다.
- 일단 3 epochs 정도 돌리고 결과를 확인해보았다.
snunlp/KR-ELECTRA-discriminator 모델이 가장 성능이 좋았다. 3 epochs 만에 베이스 모델의 20 epochs을 압도하였다.
- 나는 모델을 돌리다 말고 데이터 증강 코드가 의도와는 다르게 동작하는 부분을 발견했다.
- 그래서 그 코드를 고치다가 뭔가 코드 구조가 마음에 들지 않아 확장성이 높도록 객체지향식으로 다 뜯어 고쳤다.
- 대충 특정 폴더에 데이터 증강을 위한 callable 클래스를 보관하면 자동으로 추적해서
config.yaml만 보고도 데이터 증강 코드를 일괄적으로 실행할 수 있게 해주었다.
- 그 말인 즉슨, 데이터 증강을 위해서 callable 클래스를 만들어주어야 한다… 그냥
def딸깍 하는 것보다야 더 복잡하긴 해서 팀원들의 의견을 들어봐야 할 것 같다. 일단 풀 리퀘를 올렸다.
- 두런두런
- 따로 포스팅을 쓸 것 같다. (아마도?)
- 가장 감명깊게 들은 것은 ‘부스트캠프에서 이루고자 하는 본질적인 목표가 있다면 남과 비교하지 않아도 된다는 것’이다.
- 아무래도 대단한 사람들이 많이 오시는 부스트캠프니까 습관성 비교를 하게 되는 것 같다.
- 그러나 나는 나의 목표를 이루면 부스트캠프에서 성공을 거둔 것이니까 굳이 그러지 않아도 된다는 걸 알았다.
- 이거 역시도 따로 포스팅을 다루면 좋을 것 같다.
다음에 할 일
- 일단 얘기가 나온 것은 지금 성능이 제일 좋은 모델을 기준으로 삼아서 유의미한 성능 변화를 보이는 데이터 증강 방법을 찾아보는 것이다.
- 주말동안 쓸만한 데이터 증강 방법들을 생각해보고 적용하는 게 좋을 것 같다.
- 중요한 건 최대한 많은 양의 실험 같다. 원래 목표는 이유로부터 결과를 얻는 것이었는데 뭔가 결과로부터 이유를 역추적하는 것 같아 별로 마음에 들지 않은 느낌이다.