오늘 한 일
- 오늘 처음으로 앙상블이라는 걸 해봤다.
- 어떻게 가장 좋은 모델에 성능이 떨어진 다른 모델들을 함께 예측하도록 하는 건데 퍼포먼스가 오른다는 건지 의구심을 품었다.
- 그러나 한번 돌려보니까 꽉 막혀 있었던 퍼포먼스가 바로 뚫렸다. 소리를 지르지 않을 수 없었다.
- 그래서 앙상블을 더 추가적으로 진행하기 위해서 새로운 모델을 학습해보기로 했다.
- 근데 새로운 모델을 하는 동안 할 게 없어서 그냥 코드 리팩토링이 좀 진행했다.
- 피어세션 시간이 될 때 쯤에는 추가적으로 학습이 완료된 모델이 생겨서 그걸로 다시 앙상블을 진행해보기도 하였다.
- 근데 처음과 같은 비약적인 성장을 보여주지 않아서 나름대로 모델 별로 출력을 분석해보았는데, best model과의 상관계수가
0.96xx 정도면 유의미한 성능 향상을 보이는 것으로 가설을 세워봤다.
- 기존 모델과 동일한 아키텍처에 하이퍼 파라미터 정도만 바뀐 모델의 상관계수는
0.98xx 정도로 나왔고, 너무 다르게 학습된 모델은 0.94xx 정도 나왔다.
- 적절히 경향이 다르면서도 어느정도 잘 학습된 모델의 상관계수는
0.96xx 정도가 아닐까 생각을 해봤다.
- 사실 그렇다기 보다는 앙상블이 잘 된 모델의 공통점을 찾다가 역으로 끼워맞춘 거에 가깝긴 하다 ㅋㅋ.
다음에 할 일
- 마참내 프로젝트의 마지막 날이다.
- 지금 sweep을 돌리고 있는 모델을 이용해서 출력을 뽑아보고 가중치를 바꿔보면서 가중 평균을 구해서 성능을 높여보지 않을까 싶다.
- 그리고 오전에는 앙상블 코드가 살짝 불편하게 되어 있어서 CLI 느낌으로 바꿔볼 수 있으면 좋겠다.
- 이것저것 다 하고 난 다음은 Wrap-up report를 쓰지 않을까 생각한다.