추론모델 HCX-007에 대한 질문입니다.

[프란군]

HCX-007을 Langchain을 통해 사용하고 있습니다.

프롬프트 가이드를 작성하고 기존의 HCX-005, HCX-003 과 비교 해봤을때 추론모델은 비교적 프롬프트 주입을 좀 무시하는 경향이 있는것 같습니다.

(동일한 프롬프트 기반으로 작성 테스트 기준)

 

추론 on/off 에 따른 프롬프트 내용의 반응성 특별히 주의해야할 사항이 있는지 궁금해서 문의드립니다.

모델 파라메터값은 아래와 같이 사용하고 있습니다.

            temperature=0.2,

            max_completion_tokens=10240,

            top_p=0.85,

            repetition_penalty=1.1,

일부 소스: 

prompt_template = ChatPromptTemplate.from_messages([

            SystemMessagePromptTemplate.from_template(system_message_01_combined),

            MessagesPlaceholder(variable_name="history"),

            HumanMessagePromptTemplate.from_template(human_template_01_combined)

        ])

 

        _llm = llm if request.think_mode else nothink_llm

        chain = prompt_template | _llm

       

        # LCEL Chain

        async for chunk in chain.astream({

            "input": request.query,

            "context": docs_content,

            "history": messages

        }, config=RunnableConfig(tags=["final_response_generation"], timeout=120)):

            #print(f"Chunk data : {chunk}")

[CLOVA Studio 운영자9]

안녕하세요 @프란군님, HCX-007 모델의 추론 기능을 켜고 이용했을 때 시스템 프롬프트의 지시사항을 따르지 않는 경향성이 있다고 제보주신 것으로 이해했습니다. 맞을까요?

일반적으로 HCX-007 모델은 추론 기능 이용 여부와 무관하게 이전 모델들보다 지시사항 수행 능력이 향상되었으나, 경우에 따라 추론 길이가 길어지는 등의 사유로 인해 지시사항 일부를 누락할 수는 있을 것 같은데요. 혹시 프롬프트를 공유해주실 수 있다면 보다 자세히 살펴보고 말씀드릴 수 있도록 하겠습니다. 포럼을 통해 공유주시기 어렵다면 이용문의를 통해 전달주시면 됩니다. (문의 유형에서 AI Services > CLOVA Studio 선택)

감사합니다.