스킬트레이너 시나리오 수집과 학습 후 토큰 사용 관련 문의

[beans]

안녕하세요

스킬트레이너에서 시나리오 수집할 때 토큰 수와 학습 후 API를 이용하여 토큰 수에 대해서 차이가 있어 보여 문의드립니다.

가이드에서 시나리오 수집 과정 중 관찰에서 제외 된다고 하셨는데 학습 후 API를 이용한 "스킬셋 답변 생성"에서는 x-exclude-cot이 적용 안되어 보여 확인하고자 문의드립니다.

아래의 정리된 질문에 답변을 주시면 감사하겠습니다.

1. 시나리오를 통해 학습 진행 후, API를 이용한 "스킬셋 답변 생성"에서의 x-exclude-cot이 적용 여부

2. 응답이 긴 API에서  x-exclude-cot 적용을 하여 시나리오 학습 이후에 API 응답 길이에 대해서 제한 유무

감사합니다.

[CLOVA Studio 운영자6]

@beans님 안녕하세요, 

남겨주신 질문에 대해 다음과 같이 답변드립니다. 

1. 시나리오를 통해 학습 진행 후, API를 이용한 "스킬셋 답변 생성"에서의 x-exclude-cot이 적용 여부

→ 스킬 트레이너의 시나리오 화면에서는 x-exclude-cot 적용한 필드는 응답으로 노출되지 않고, 스킬셋 답변 생성 API 호출 시에는 x-exclude-cot 상관 없이 모든 응답이 내려오도록 제공하고 있습니다. x-exclude-cot 목적이 시나리오 내 토큰 수 초과 에러를 방지하고 학습 비용을 절약하는 데에 있기 때문에, 실제 학습 데이터를 제작하는 시나리오 화면에서만 적용되고 있습니다. 

2. 응답이 긴 API에서  x-exclude-cot 적용을 하여 시나리오 학습 이후에 API 응답 길이에 대해서 제한 유무

→ 스킬 트레이너의 시나리오 화면에서는 API 응답(Step 2-2 관찰)을 포함한 모든 필드(유저쿼리, Step 1, ..., 최종답변)를 합하여 4096 토큰 수로 제한되어 있습니다. 또한 학습 전후에 상관없이 시나리오 작업에서 선택한 버전의 스킬 정보가 x-exclude-cot가 포함된 것이라면, x-exclude-cot가 응답에 적용됩니다. 참고로 스킬셋 답변 생성 API 호출 시에는 별도 길이 제한이 없습니다.

 

답변이 되셨길 바랍니다!

추가적으로 궁금하신 점 있으시면 남겨주십시오.

감사합니다 🙂