프란군

답변 확인이 늦어 죄송합니다. 프롬프트는 "개인정보" 라는 글자가 들어갈 경우 "개인정보는 답변해 줄 수 없습니다." 라고만 글자 그대로 대답해줘. 정도의 프롬프트로 테스트 했을때 HCX-007 기준 추론 모드 ON 시 : 여러 답변 사족과 함께 마크다운 형식으로 이루어진 답변. 추론모드 OFF 시 : "개인정보는 답변해 줄 수 없습니다." 라고 답변 확률 90% 이상 추론모드 여부에 따른 프롬프트 반영 사항이 조금 다른것 같아 문의드린 것입니다. temperature 테스트 기준 0.0 ~ 0.2 top_p= 0.7 ~ 1.0 repetition_penalty=1.0 ~ 1.2 로 테스트 해보았습니다. p.s) 그리고 <thinking>의 추론 내용 자체의 말투는 변경 할 수 없는건가요?

HCX-007을 Langchain을 통해 사용하고 있습니다. 프롬프트 가이드를 작성하고 기존의 HCX-005, HCX-003 과 비교 해봤을때 추론모델은 비교적 프롬프트 주입을 좀 무시하는 경향이 있는것 같습니다. (동일한 프롬프트 기반으로 작성 테스트 기준) 추론 on/off 에 따른 프롬프트 내용의 반응성 특별히 주의해야할 사항이 있는지 궁금해서 문의드립니다. 모델 파라메터값은 아래와 같이 사용하고 있습니다. temperature=0.2, max_completion_tokens=10240, top_p=0.85, repetition_penalty=1.1, 일부 소스: prompt_template = ChatPromptTemplate.from_messages([ SystemMessagePromptTemplate.from_template(system_message_01_combined), MessagesPlaceholder(variable_name="history"), HumanMessagePromptTemplate.from_template(human_template_01_combined) ]) _llm = llm if request.think_mode else nothink_llm chain = prompt_template | _llm # LCEL Chain async for chunk in chain.astream({ "input": request.query, "context": docs_content, "history": messages }, config=RunnableConfig(tags=["final_response_generation"], timeout=120)): #print(f"Chunk data : {chunk}")

기초적인 질문입니다만, 데이터 확장 시 업로드 하려고 하는 CSV 파일 기준으로만 샘플을 구현하는 건가요? 아니면 업로드된 파일 기준으로 모델셋이 학습한 데이터 기준으로 CSV파일과 융합하여 샘플을 구현하는건가요? *요지: 업로드된 CSV 기준으로만 정확한 샘플 확장 기준이 필요합니다. 예시 : (CSV 파일 기준) TEXT : A키보드는 무엇인가요? COMPLETION : A키보드는 특수한 키보드로 키가 187개 이고, 상세 스펙은 비브라늄 이다. 데이터 확장 결과 (O) TEXT : 키가 187개인 키보드는 무엇인가요? COMPLETION : A키보드 입니다. 키가 187개이고, 비브라늄 으로 되어있다. (X) : CSV파일 기준엔 없음 TEXT : 비브라늄으로 된 키보드가 있나요? COMPLETION : 제가 알고있는 바로는 키보드는 106키인 B키보드가 있습니다. 답변 부탁드립니다. 감사합니다.