웹 어플리케이션의 사용 방법에 대한 튜닝 방법 문의

[hatiolab]

안녕하세요 

저희가 자체 개발하여 서비스 중인 웹 어플리케이션의 여러 사용 방법들을 사용자가 챗봇과 같은 형태로 질문을 하고 답변을 받을 수 있는 서비스를 고민하고 있습니다.

제가 처음 CLOVA Studio를 접하고 영감을 받은 것은 플레이그라운드의 '문서 기반 챗봇'입니다. 해당 예제와 유사하게 주어진 시스템의 문서를 기반으로 변형된 질문에 응답을 하는 서비스를 만들고 싶습니다.

포럼과 가이드의 문서를 확인하면서 초기 셋업을 진행하고 있습니다만,  어떠한 형태의 데이터를 학습시키고, 어떻게 추론을 해야 할지 가늠이 되지 않네요.  지난 세미나 참석 시에도 문의를 간단히 드렸는데 튜닝에 나와 있는 문서를 보고 진행하시면 된다고 하셨습니다. 그래서 튜닝 가이드 문서를 최대한 참조해서 튜닝에 필요한 데이터를 포맷에 맞게 준비해서 튜닝을 진해아고, 추론을 해보았지만 학습 데이터가 적어서 일지 아니면 방법에 문제가 있을 지 모르겠지만 저희가 학습한 데이터를 기반으로 추론이 되지 않는 것처럼 보였습니다.

이와 같은 케이스에는 어떻게 접근을 하면 좋을 지 간단하게라도 설명해 주시면 많은 도움이 될 것 같습니다. 방법을 달리 해야 할지, 아니면 방법은 맞는데 학습 데이터를 늘려야 할지, 추론 시 파라미터 조정에 필요한 내용 등 어떠한 내용이라도 알려주시면 최대한 참조해서 진행해 보도록 하겠습니다.

참고로, 생성형 AI 튜닝과 관련해서는 처음 도입을 시도하고 있어 미흡한 면이 많으니 양해 부탁 드립니다.

감사합니다.

[TABA]

지나가다 남 일 같지 않아 간략히 남겨봅니다.

튜닝 api로 학습시킨 모델만으로는 원하는 결과를 도출하기 어려울 듯합니다.

프롬프트 체인, RAG 를 이용해서 구성하셔야 원하는 서비스를 구성하실 수 있습니다.

관련 내용은 구글링을 하시면 어렵지 않게 찾으실 수 있습니다.

Edited April 30 by TABA

[CLOVA Studio 운영자]

안녕하세요, @hatiolab님,

튜닝 학습시에도 System prompt를 포함하여 학습이 가능하도록 곧 반영될 예정입니다. 해당 기능을 토대로 보다 정확한 답변을 얻을 수 있지 않을까 생각이 됩니다.

학습해야할 지식이 아주 많을 경우에는 RAG 구축을 이용하시는 것이 효과적일 수 있습니다.

RAG 구축의 경우, 클로바 스튜디오를 통해 구현할 수 있는 Cookbook을 조만간 업데이트 드릴 예정이니, 참고하셔도 좋을 것 같습니다.

감사합니다.

@TABA님, 답변 감사드립니다.

[hatiolab]

중요한 키워드를 전달해 주신 것 같아서, 해당 키워드를 중심으로 기술적 내용 파악해보고 적용해 보도록 하겠습니다.

system prompt 기반 학습도 릴리즈되는 대로 준비해서 시험을 해보도록 하겠습니다.

좋은 하루 되시구요.
 

[CLOVA Studio 운영자]

안녕하세요, @hatiolab

System prompt를 포함한 튜닝 학습 기능이 추가되어 소식을 전합니다.

https://clovastudio.ncloud.com/tuning/api#

감사합니다.