오늘 한 일

프로젝트

외부 데이터셋을 벤치마크로 사용하면 안된다고 질의응답에 올라와 있었다(…). 그래서 어제 말한 방법은 폐기하기로 했다.
잼민이(Gemini)를 이용한 노이즈 복원기를 만들어 보았다.
- 만들긴 했는데 이게 어차피 API 사용 제한량 때문에 거의 1600개 가량을 복원해야 하는데 그렇게는 못하지 않을까 하는 생각이 들었다.
그리고 생각보다 rule-based로 noise가 있는 행인지 판단하는 게 정확도가 높지 않은 것 같다.
- 그래서 ASCII 비율을 계산할 때 공백은 제외하고 계산하도록 했는데 그래도 크게 좋아진 것 같지는 않다.
- 홍 모 캠퍼님께서 시도한 LLM으로 noise가 있는 행인지 판단하는 방법이 꽤 잘되는 것 같아서 아마 그걸로 하지 않을까…?
- 근데 이건 지표로 쓸 수 있는 게 없어 보여서… 그냥 LLM을 믿는 수 밖에 없지 않을까 생각이 든다.
오늘 뭔가 열심히 했다고 생각이 드는데… 돌이켜 보면 진짜 별 거 안 한 것 같고… 걱정이 된다.