프란군 Posted Wednesday at 06:36 오전 공유하기 Posted Wednesday at 06:36 오전 추론 토큰 산정치를 그래프화 해야하는 과정 중 질문 드립니다. API의거하여 예시기준으로 살펴보다 보면 총 토큰수(totalTokens) : 689 생성 토큰(completionTokens) : 631 이 TotalToken안에 ThinkingToken이 포함된 값으로 봐도 되나요? -- 풀이해보면 입력토큰 : 58 생성토큰 : 265 추론토큰 : 366 토큰합계 : 689 이게 아니면 총 토큰수 합계 689 + 추론토큰(366) 으로 나중에 금액이 산정되는건지 총 토큰수에 포함해서 나오는지 확인이 필요해서 질문드립니다. -- { "status": { "code": "20000", "message": "OK" }, "result": { "message": { "role": "assistant", "content": "부분집합의 개수는 ...", "thinkingContent": "오늘 사용자가 물어본 문제는 ..." }, "finishReason": "stop", "created": 1753362971 "seed": 1561390649, "usage": { "promptTokens": 58, "completionTokens": 631, "totalTokens": 689, "completionTokensDetails": { "thinkingTokens": 366 } } result.usage Object - 토큰 사용량 result.usage.completionTokens Integer - 생성 토큰 수 result.usage.promptTokens Integer - 입력(프롬프트) 토큰 수 result.usage.totalTokens Integer - 전체 토큰 수 생성 토큰 수+입력 토큰 수 result.usage.completionTokensDetails Object - 생성 토큰 수 관련 추가 정보 result.usage.completionTokensDetails.thinkingTokens Integer - 추론 토큰 수 링크 복사 다른 사이트에 공유하기 More sharing options...
CLOVA Studio 운영자 Posted yesterday at 02:46 오전 공유하기 Posted yesterday at 02:46 오전 안녕하세요, @프란군 님. TotalToken 안에는 추론에 사용된 토큰이 함께 포함되어있습니다. 즉, 추론 토큰은 나중에 따로 금액 산정되는 것이 아니라, 합계에 포함된 토큰으로 산정됩니다. 감사합니다. 링크 복사 다른 사이트에 공유하기 More sharing options...
Recommended Posts
게시글 및 댓글을 작성하려면 로그인 해주세요.
로그인