Chat Completions Request Body 필드 옵션 질문 드립니다.

[성연재]

요청 바디에 문장의 무작위성, 독창성과 관련 있는 temperature, repeatPenalty 옵션을 커스텀 설정하고 2개 모두 담아도 될까요?

공식적으로 권장하는 옵션이 궁급합니다.

[CLOVA Studio 운영자]

안녕하세요, @성연재님,

작업에 따라 설정을 바꿔가며 최적의 값을 찾아야 합니다. 아래는 그 특징과 권장값입니다.

Temperature를 조절하면 토큰 확률 분포에 가중치 변화를 주어 문장의 다양성을 조정할 수 있습니다. 창의적인 문장 생성이 필요한 작업은 0.5~0.8 수준으로 올리는 것이 좋고,
요약, 분류처럼 주어진 인풋을 근거로 답을 해야 하는 경우는 0.1~0.3 수준으로 낮추는 것이 효과적입니다.

Repetition Penalty는 토큰에 페널티를 부여하여 반복적인 결과가 생성되지 않도록 하는 설정입니다. 창의적인 문장 생성이 필요한 경우 기본값인 5.0으로 설정하고, 그렇지 않은 경우 1.2 수준으로 낮추는 것이 좋습니다.

반면, HyperCLOVA X 모델로 오면서 하이퍼파라미터에 따른 변화는 두드러지지 않지만, 시스템 프롬프트를 통해 출력 결과의 형태가 크게 달라질 수 있습니다.

사용 가이드: https://guide.ncloud-docs.com/docs/clovastudio-info

감사합니다.

[성연재]

타사는 비슷한 옵션 두 개를 동시에 커스텀하는 것을 권장하지 않기에 질문 드리게 되었습니다.

답변 감사합니다.

[CLOVA Studio 운영자]

OpenAI의 경우 Top P를 고정으로 두고(또는 반대로), Temperature를 조정하는 등의 형태로 권장하고 있고, 저희도 샘플링 기준을 잡고 다른 하나를 조정해보는 형태로 권장하고 있습니다.

Top P 0.6 또는 0.8을 고정으로 두고, Temperature, Repetition을 세부 조정하면서 최적값을 찾아가면 될 것 같습니다.

감사합니다