플레이그라운드에서 튜닝 모델 사용하기

[CLOVA Studio 운영자]

언어 모델 실험을 위한 최적의 장소, 플레이그라운드

AI 모델의 성능을 높이는 방법은 프롬프트 엔지니어링, 튜닝 등 여러 가지가 있습니다.

그중에서도 튜닝은 사용자 데이터를 활용하여 모델을 최적화하여 높은 정확도와 효율성을 달성하는 데 중요한 역할을 합니다.

하지만 이를 위해서는 학습 및 검증을 비롯한 다양한 테스트가 필요하죠.

그래서 저희는 튜닝 모델을 다양한 방식으로 테스트해볼 수 있는 신규 기능을 준비했습니다.

그럼, 지금부터 플레이그라운드로 튜닝 모델을 불러와서 활용하는 방법을 안내해 드리겠습니다!

이번 기회를 통해, 또 다른 성능 향상을 경험하실 수 있을 거예요.

 

멀티턴 대화하기

▼ 이전에는 튜닝 상세 페이지에서 인퍼런스 테스트를 통해 응답 결과를 확인하셨을 것입니다.

그러나 대화 작업의 경우 단답 형태(싱글턴)로만 결과를 얻어야만 해서, 대화를 이어갈 수가 없었죠.

이제 플레이그라운드로 불러오면 멀티턴 대화를 해볼 수 있습니다.

 

① 모델 목록에서 불러오려는 튜닝 작업을 선택해주세요.

② Inject start text에 모델의 출력 앞에 붙일 단어를 입력해주세요.

    줄바꿈해서 출력이 될 수 있도록, ↵를 앞에 붙였습니다.

③ Inject restart text에는 모델의 출력 뒤에 붙일 단어를 입력해주세요.

    줄바꿈해서 사용자의 다음 발화를 입력할 수 있도록 ↵를 앞에 붙였습니다.

④ 이제 자연스러운 멀티턴 대화를 진행할 수 있습니다.

 

파라미터 조절하기

플레이그라운드에서 튜닝 모델을 불러온 후 파라미터 조절을 해보세요.

미세한 조정만으로 최적의 성능을 내는 설정값을 탐색할 수 있습니다.

과거에는 튜닝의 파라미터 값이 고정되어 있었지만, 이제는 그러한 제한이 없어져 더욱 다양한 성능 향상을 끌어 낼 수 있습니다.

 

사례를 하나 소개해드릴게요.

 

▼ 영문 뉴스를 한글로 요약한 데이터셋을 준비했습니다.

우측 Completion을 보면 요약문은 2~3줄 정도의 분량을 유지하고 있습니다.

 

▼ 하지만 어째서인지 우리가 예상한대로 요약 결과가 출력되지 않았습니다.

오히려 번역과 유사한 결과를 보여주었죠.

 

 

▼ 이 문제를 해결하기 위해 플레이그라운드로 요약 작업을 불러온 후 파라미터를 조절해보겠습니다.

▲ 이제 영어 원문에 대한 한글 요약을 제대로 출력해주고 있네요.

 

파라미터를 조절함으로써 정확도를 높일 수도 있습니다.

 

▼ 다음은 '가파라서’라는 오타를 잡아내지 못했던 상황인데요.

 

▼ 플레이그라운드로 불러온 후, temperature와 repetition penalty를 조절해서 올바른 결과를 도출했습니다.

플레이그라운드에서는 사용자가 중간에 개입을 할 수 있으므로, 초기 결과 이후에도 더 나은 결과를 도출할 수 있습니다.

 

▼ 이 문장에서는 '어제밤부터'와 '별동별'에 맞춤법 오류가 두 개 존재합니다. 하지만 어째서인지 하나만 수정되었습니다.

 

▼ 이후 문장에 쉼표(,)를 입력하여 모델이 다음 문장에 대해서도 체크하도록 함으로써, 다음 오류도 발견할 수 있었습니다.

 

물론 데이터셋을 보강하여 문제를 해결해야 하지만, 다양한 방법으로 언어 모델을 테스트하면서 보완해야 할 영역을 찾아갈 수 있을 것입니다.

클로바 스튜디오는 여러분의 AI 업무를 원활히 수행하실 수 있도록 끊임없이 기능을 개선하고 있습니다.

더욱 향상된 서비스를 제공하겠습니다. 많은 관심과 기대 부탁드립니다!