HCX-DASH-001의 문장 이해 능력

[데이터 빅]

최근 출시하신 HCX-DASH-001 모델은

기존 모델인 HCX-003 보다 빠른 속도를 가지는 대신 정확도가 조금 떨어질 수 있다 알고 있습니다.

이경우 프롬프트 등을 통해서 문장 이해 정확도 등을 향상시킬 수 있는 방법이 있는지 궁금합니다.

 

예를 들어,

1. "나는 밥을 먹었다"
2. "나는 밥을 먹었다"

1번과 2번중에 뭐가 맞는 말이야?

라는 질문을 했을 경우, 대답은

두 문장 모두 문법적으로 맞지만 의미상 차이가 있습니다.  

1번 문장은 주어인 '나'가 동사인 '먹었다'를 통해 밥을 먹은 행위를 한 번 했다는 것을 나타냅니다. 

반면에 2번 문장은 주어인 '나'가 동사인 '먹었다'를 통해 밥을 먹은 행위를 두 번 이상 했다는 것을 나타냅니다.

가 나왔습니다. (Seed : 1234, Model : HCX-DASH-001)

 

이와 같이 문장 이해를 가끔 못하는 경우가 있는데,

이것을 프롬프트 등을 이용해서 향상시키는 방법이 있다면 알려주시면 감사하겠습니다.

[CLOVA Studio 운영자]

안녕하세요, @데이터 빅님,

아시다시피, 모델마다 성능 차이가 있을 수 있으며,

프롬프트 작업이나 튜닝을 통해, 성능의 전후 평가가 필요합니다.

모델이 다양한 상황에 잘 대응할 수 있도록 프롬프트를 정의할 때는 Few-shot prompting 방식을 활용하는 것이 도움될 수 있습니다.

즉, 프롬프트에 적절한 예시들을 포함시켜 모델이 원하는 방향으로 동작하도록 유도하는 것입니다.

아래는 같은 문장이 주어졌을 때 모델이 어떻게 답변해야 하는지를 예시로 보여주는 프롬프트의 결과물입니다.

감사합니다.