nexusai Posted November 7, 2023 공유하기 Posted November 7, 2023 인녕하세요. '튜닝' 작업과 '스킬 트레이닝' 작업의 기술 검토중에 있습니다. 각 기술검토에는 https://guide.ncloud-docs.com/docs/clovastudio-tuning 문서와 https://guide.ncloud-docs.com/docs/clovastuido-skillset-tuning 문서를 참고하였습니다. 사내 정보에 대한 상담 서비스를 위한 서버가 있다고 가정하겠습니다. #1 이 상담 서비스의 백엔드 로직은 다음의 세 가지 중 하나일 것으로 생각되는데 맞을까요? 1) RAG를 진행하여, 고객의 질문이 입력되면 해당 질문에 답변할 수 있는 사내 정보와 함께 고객 질문을 HCX 002 바닐라 모델 앱API에 던져 답변을 받는다. 2) 사내 정보를 정제해 파인튜닝을 진행하여 학습을 완료한다. 학습이 완료되면 앱API를 발급한다. 고객의 질문이 입력되면 HCX 002 튜닝 모델 앱API에 던져 답변을 받는다. 3) 사내 정보에 대한 정보를 주는 여러 엔드포인트를 선제작한다. 스킬셋을 만들고 이 엔드포인트들에 대한 상세한 설명을 담은 스킬들을 만들어 스킬셋에 추가한다. 예상되는 고객 질문을 추리고 해당 질문에 어떤 스킬을 이용할지를 정해보며 시나리오를 수집한다. 스킬 트레이너를 이용해 학습을 시킨다. 학습이 완료되면 앱API를 발급한다. 고객의 질문이 입력되면 스킬트레이너의 앱API에 던져 답변을 받는다. #2 RAG의 필요여부의 관점에서, 파인튜닝과 스킬트레이너 튜닝의 핵심 차이점이 무엇일까요? 파인튜닝은 보유지식등을 학습시키는 것으로 이해하고, 스킬트레이너 튜닝은 해당 스킬이 주는 정보의 내용 및 종류와 사용방법을 학습시키는 것으로 이해하면 될까요? 그렇다면 스킬트레이너 튜닝은 파인튜닝을 포함하는 개념(파인튜닝보다 나은 기능)이 되나요? #3 상기 가정했던 "사내 정보에 대한 상담 서비스" 의 답변 형태 관점에서는 파인튜닝과 스킬트레이너 튜닝의 핵심 차이점이 무엇일까요? 파인튜닝은 전반적인 답변 형태를 학습시키는 것으로 이해하고, 스킬트레이너 튜닝은 "고객 빈출질문에 대한 답변일 때(예상 시나리오에 있는 것이라면) 정말 잘 정형화된 대답을 하기 위해" 세부적으로 학습시키는 것으로 이해하면 될까요? #4 파인튜닝이든 스킬트레이너 튜닝이든 학습시키고자 하는 데이터의 양이 같다고 가정하겠습니다. (모든 데이터를 커버할 수 있는 시나리오를 작성하겠다고 가정하겠습니다.) 각 튜닝 간 비용 차이는 어떻게 될까요? #5 스킬트레이너 앱에도 스트리밍 응답 기능을 추가할 계획이 있으신가요? 긴 질문 일어주셔서 감사합니다. 질문에 대한 답변 외에도 떠오르시는 생각들이 있다면 가감없이 남겨주시면 큰 도움이 될 것 같습니다. 링크 복사 다른 사이트에 공유하기 More sharing options...
CLOVA Studio 운영자1 Posted November 9, 2023 공유하기 Posted November 9, 2023 안녕하세요, @nexusai님. 문의 주신 내용에 대해 아래와 같이 답변드립니다. #1 네, 3)번의 방식이 스킬 트레이너의 로직과 동일합니다. #2 네, 이해해주신 내용이 맞습니다. 튜닝은 사용자의 데이터셋을 기반으로 원하는 형태로 (답변하도록) 모델을 학습시키는 것이고, 스킬 트레이너는 적절한 API를 호출할 수 있도록 학습시키는 것입니다. 주어진 데이터셋에 최적화된 형태로 모델을 만들고자 하면 튜닝이 적절할 것이고, 서비스 API를 기반으로 출력하도록 작업하는 경우에는 스킬 트레이너가 적절합니다. #3 파인 튜닝은 Q&A 쌍으로 학습을 시켜서 학습 시킨 질문과 유사/일치한 질문이 들어왔을 때 답변을 주는 방식(매번 동일한 답변은 아닐 수 있습니다.) 입니다. 스킬 트레이너 튜닝은 고객의 질문에 답변을 할 수 있는 지 판별해 답변이 가능하다면 필요한 스킬을 규칙에 맞게 호출 하여 정형화 된 답변을 생성 하기 위해 학습한다고 이해해주시면 좋겠습니다. #4 모든 데이터를 커버할 수 있는 시나리오를 작성했다고 가정한다면 스킬 트레이너 비용이 더 클 것으로 예상됩니다. 스킬 트레이너의 경우 정해진 양식(플래너, 스킬 데이터 등)이 있기 때문에 파인튜닝 방식과 비교했을 때 학습에 사용되는 토큰 수가 더 많을 것으로 보입니다. #5 현재로서는 관련 기능 추가 계획이 없는 상황이지만, 추후 검토해보도록 하겠습니다. 추가적인 문의가 있으시다면 언제든지 남겨주세요. 감사합니다. 링크 복사 다른 사이트에 공유하기 More sharing options...
Recommended Posts
게시글 및 댓글을 작성하려면 로그인 해주세요.
로그인