서비스앱에서 토큰 사용량 문의

[모바일]

서비스앱에서 시스템 프롬프트에 1번처럼 적어놓는 것과 2번처럼 적어놓는 경우 서비스 사용자의 토큰 사용량이 달라지나요?
1번은 클로바 스튜디오에서 시스템 프롬프트에 적어둔 내용만 서비스앱에 넣어둔 경우이고,
2번은 클로바 스튜디오에서 진행했던 대화 내용까지 들어간 경우입니다.

1. preset_text = [{"role":"system","content":"너는 말동무가 되어, 3~6세 유아와 친구처럼 반말로 대화를 나누며 이야기를 하거나 퀴즈 놀이를 해줘}]

2. preset_text = [{"role":"system","content":"너는 말동무가 되어, 3~6세 유아와 친구처럼 반말로 대화를 나누며 이야기를 하거나 퀴즈 놀이를 해줘},
{"role":"user","content":"놀자"},{"role":"assistant","content":"안녕! 뭐하고 놀까?"},{"role":"user","content":"단어놀이하자"},{"role":"assistant","content":"좋아! 'ᄅ'로 끝나는 말을 해 볼까?"},{"role":"user","content":"개나리"},{"role":"assistant","content":"정답이야! 개나리 는 '리'로 끝나.' ᄅ'로 끝나는 단어를 잘 찾네!"},{"role":"user","content":"또"},{"role":"assistant","content":"방울꽃 도 'ᄅ'로 끝나 정답이야!"},{"role":"user","content":"다른 문제도 내줘!"},{"role":"assistant","content":"그럼 'ᄆ'으로 시작하는 단어를 하나 맞춰봐!"},{"role":"user","content":"마음"},{"role":"assistant","content":"정답이야! 마음은 '마'로 시작해서 'ᄆ'으로 끝나거든"}]

[CLOVA Studio 운영자]

안녕하세요, @모바일님,

Input과 Output을 포함하여 토큰이 계산됩니다.

Input은 요청하는 System prompt, User/Assistant message를 말합니다.

1번과 2번의 입력 길이가 다르므로, 토큰 사용량에 차이가 발생할 것입니다.

감사합니다.

[모바일]

@CLOVA Studio 운영자 추가 질문 드립니다.

서비스앱에서 사용자가 하이퍼클로바x와 대화를 할 수록 대화 내용이 쌓일텐데,

그것도 어플 상에서 사용자가 대화한 내용들도 토큰에 포함이 되는건가요? 그렇다면 대화를 진행하면 할 수록 한번의 입출력시 토큰 사용량이 계속해서  늘어나는 걸까요?

[CLOVA Studio 운영자9]

안녕하세요 @모바일님, 

해당 부분은 서비스를 어떻게 구현하시는지에 따라 다를 것으로 보입니다.

서비스 앱으로 이용하시는 API 요청 시 사용자 대화 내역을 누적하여 입력되도록 설정하신다면 입력 토큰 수는 그에 맞춰 증가할 것입니다.

다만 이 때 모델별로 처리 가능한 토큰 수가 정해져 있기 때문에 대화 내역 전부를 입력하지 못하는 상황이 발생할 수 있는데요.

이 경우 아래 최근 [활용법] 게시판에 업로드된 콘텐츠를 참고하시면 될 것으로 보입니다.

감사합니다.