Jump to content

스킬트레이너 시나리오 수집과 학습 후 토큰 사용 관련 문의


beans

Recommended Posts

안녕하세요

스킬트레이너에서 시나리오 수집할 때 토큰 수와 학습 후 API를 이용하여 토큰 수에 대해서 차이가 있어 보여 문의드립니다.

가이드에서 시나리오 수집 과정 중 관찰에서 제외 된다고 하셨는데 학습 후 API를 이용한 "스킬셋 답변 생성"에서는 x-exclude-cot이 적용 안되어 보여 확인하고자 문의드립니다.

아래의 정리된 질문에 답변을 주시면 감사하겠습니다.

1. 시나리오를 통해 학습 진행 후, API를 이용한 "스킬셋 답변 생성"에서의 x-exclude-cot이 적용 여부

2. 응답이 긴 API에서  x-exclude-cot 적용을 하여 시나리오 학습 이후에 API 응답 길이에 대해서 제한 유무

감사합니다.

스킬트레이너 API와 토큰 관련 문의.png

스킬트레이너 토큰 초과 에러 경우.png

링크 복사
다른 사이트에 공유하기

@beans님 안녕하세요, 

남겨주신 질문에 대해 다음과 같이 답변드립니다. 

1. 시나리오를 통해 학습 진행 후, API를 이용한 "스킬셋 답변 생성"에서의 x-exclude-cot이 적용 여부

스킬 트레이너의 시나리오 화면에서는 x-exclude-cot 적용한 필드는 응답으로 노출되지 않고, 스킬셋 답변 생성 API 호출 시에는 x-exclude-cot 상관 없이 모든 응답이 내려오도록 제공하고 있습니다. x-exclude-cot 목적이 시나리오 내 토큰 수 초과 에러를 방지하고 학습 비용을 절약하는 데에 있기 때문에, 실제 학습 데이터를 제작하는 시나리오 화면에서만 적용되고 있습니다. 

2. 응답이 긴 API에서  x-exclude-cot 적용을 하여 시나리오 학습 이후에 API 응답 길이에 대해서 제한 유무

스킬 트레이너의 시나리오 화면에서는 API 응답(Step 2-2 관찰)을 포함한 모든 필드(유저쿼리, Step 1, ..., 최종답변)를 합하여 4096 토큰 수로 제한되어 있습니다. 또한 학습 전후에 상관없이 시나리오 작업에서 선택한 버전의 스킬 정보가 x-exclude-cot가 포함된 것이라면, x-exclude-cot가 응답에 적용됩니다. 참고로 스킬셋 답변 생성 API 호출 시에는 별도 길이 제한이 없습니다.

 

답변이 되셨길 바랍니다!

추가적으로 궁금하신 점 있으시면 남겨주십시오.

감사합니다 🙂

링크 복사
다른 사이트에 공유하기

게시글 및 댓글을 작성하려면 로그인 해주세요.



로그인
×
×
  • Create New...