안녕하세요, 클로바 스튜디오 운영자님.
최근에 튜닝 모델을 학습시킨 후 테스트 과정에서, 응답이 저희의 의도와 다르게 부적합하다는 사실을 발견했습니다. 저희의 데이터셋은 약 10,000개의 상담(질의 응답 형태) 데이터로 구성되어 있으며, 모든 데이터가 싱글턴 시나리오에 기반하여 준비되었습니다. 그러나 튜닝모델의 일반 모델(튜닝을 하지 않은 HCX-003 에 비해 응답 품질이 눈에 띄게 떨어집니다.
정리드리자면, 아래와 같은 문제점이 있습니다.
짧고 불완전한 응답: 응답이 중간에 끊기거나 짧게 나오는 경우가 자주 발생하고 있습니다.
시스템 프롬프트의 미반영: 모델이 시스템 프롬프트를 제대로 반영하지 못하는 문제도 있습니다.
응답의 일관성 부족: 특정 상황에서는 모델이 구체적이고 유익한 답변을 제공하지만, 다른 경우에는 단답형으로 응답하는 경우가 많아 일관성이 결여되어 있습니다.
저의 추론은, 현재 튜닝된 모델의 학습 epoch 수가 기본값인 8로 설정되어 있어 충분하지 않다고 판단했습니다. 이로 인해 과소 적합 문제가 발생할 수 도 있다고 생각합니다.
아래는 제가 개인적으로 생각하는 해결 방법인데, 더 좋은 방법 또는, 가이드가 있다면 알려주시면 감사하겠습니다.
epoch 수를 증가시키면 과소 적합 문제가 해결될까요? (현재 train_loss = 0.9268)
epoch 수를 증가시킨다면, 몇으로 설정하는 게 좋을까요? (상담 데이터 약 1만건)
이외의 방법을 소개해주신다면 감사하겠습니다.
