추론모델 HCX-007에 대한 질문입니다.

[프란군]

HCX-007을 Langchain을 통해 사용하고 있습니다.

프롬프트 가이드를 작성하고 기존의 HCX-005, HCX-003 과 비교 해봤을때 추론모델은 비교적 프롬프트 주입을 좀 무시하는 경향이 있는것 같습니다.

(동일한 프롬프트 기반으로 작성 테스트 기준)

 

추론 on/off 에 따른 프롬프트 내용의 반응성 특별히 주의해야할 사항이 있는지 궁금해서 문의드립니다.

모델 파라메터값은 아래와 같이 사용하고 있습니다.

            temperature=0.2,

            max_completion_tokens=10240,

            top_p=0.85,

            repetition_penalty=1.1,

일부 소스: 

prompt_template = ChatPromptTemplate.from_messages([

            SystemMessagePromptTemplate.from_template(system_message_01_combined),

            MessagesPlaceholder(variable_name="history"),

            HumanMessagePromptTemplate.from_template(human_template_01_combined)

        ])

 

        _llm = llm if request.think_mode else nothink_llm

        chain = prompt_template | _llm

       

        # LCEL Chain

        async for chunk in chain.astream({

            "input": request.query,

            "context": docs_content,

            "history": messages

        }, config=RunnableConfig(tags=["final_response_generation"], timeout=120)):

            #print(f"Chunk data : {chunk}")

[CLOVA Studio 운영자9]

안녕하세요 @프란군님, HCX-007 모델의 추론 기능을 켜고 이용했을 때 시스템 프롬프트의 지시사항을 따르지 않는 경향성이 있다고 제보주신 것으로 이해했습니다. 맞을까요?

일반적으로 HCX-007 모델은 추론 기능 이용 여부와 무관하게 이전 모델들보다 지시사항 수행 능력이 향상되었으나, 경우에 따라 추론 길이가 길어지는 등의 사유로 인해 지시사항 일부를 누락할 수는 있을 것 같은데요. 혹시 프롬프트를 공유해주실 수 있다면 보다 자세히 살펴보고 말씀드릴 수 있도록 하겠습니다. 포럼을 통해 공유주시기 어렵다면 이용문의를 통해 전달주시면 됩니다. (문의 유형에서 AI Services > CLOVA Studio 선택)

감사합니다.

[프란군]

답변 확인이 늦어 죄송합니다. 프롬프트는

"개인정보" 라는 글자가 들어갈 경우 "개인정보는 답변해 줄 수 없습니다." 라고만 글자 그대로 대답해줘.

정도의 프롬프트로 테스트 했을때

HCX-007 기준 추론 모드 ON 시 : 여러 답변 사족과 함께 마크다운 형식으로 이루어진 답변.

추론모드 OFF 시 : "개인정보는 답변해 줄 수 없습니다." 라고 답변 확률 90% 이상

추론모드 여부에 따른 프롬프트 반영 사항이 조금 다른것 같아 문의드린 것입니다.

temperature 테스트 기준 0.0 ~ 0.2
top_p= 0.7 ~ 1.0

repetition_penalty=1.0 ~ 1.2

로 테스트 해보았습니다.

 

p.s) 그리고 <thinking>의 추론 내용 자체의 말투는 변경 할 수 없는건가요?
 

 

 

 

 

 

 

 

 

 

[CLOVA Studio 운영자9]

안녕하세요 @프란군님, 

HCX-007 추론 모델에서 추론 기능을 켠 경우, 보다 복잡한 작업에 특화되어 있어 적어주신 것과 같은 단순 지시사항에 대해 부연설명을 하는 등의 경향성이 관찰되고 있습니다. 따라서 목적에 맞게 추론 기능 이용 여부를 결정하실 것을 권장드립니다. 

thinkingContent/thinking_content 필드는 개발 편의성을 위해 전체 추론 과정을 담아 출력하는 내용으로, 최종 답변(content)과 달리 프롬프팅 등을 통한 내용 및 형식 제어에 한계가 있을 수 있습니다. 또한, 별도의 후처리 없이는 최종 사용자에게 전달하지 않으실 것을 권고드립니다. 

감사합니다.