문장 부호는 인식이 불가능한가요?

[데이터 빅]

안녕하세요

 

이번에 Chat Completions을 사용하다가 의문이 생겼는데요,

하이퍼클로바X는 [ " ] , [ ' ] 등과 같은 문장 부호를 인식할 수 있는지 궁금합니다.

예를 들어,

1. "나는 '밥을' 먹었다."
2. "나는 "밥을' 먹었다.'

둘중 뭐가 맞아?

라는 질문을 했을 경우 Chat Completions에서는

2번이 맞습니다.  

문장 부호를 제대로 사용하지 않으면 문법적 오류가 발생할 수 있습니다. 

"나는 '밥을' 먹었다."는 문장 부호 없이 쓴 문장으로, 이는 비문법적인 문장입니다. 
"'밥을'이라는 관형어가 주어인 '나'를 수식하기 위해서는 앞에 조사 '을'이 와야 합니다. 따라서 "'밥을' 먹었다"로 써야 하며, 마침표를 찍어 문장을 완성해야 합니다. 예를 들어,"나는 밥을 먹었다." 또는 "나는 밥을 먹었다." 처럼 써야 합니다.

와 같이 답변했습니다.(Seed : 1234)

이경우 문장 부호를 인식하지 못하는 것 같은데,

문장 부호에 대한 개선이 진행중인지 알려주시면 감사하겠습니다.

[CLOVA Studio 운영자]

안녕하세요, @데이터 빅님,

말씀하신 내용을 확인하고 재현해 본 결과, 해당 부분은 현재 모델의 부족한 영역으로 판단됩니다.

이를 위해, 시스템 프롬프트에 올바른 문장 부호를 사용해야 한다는 규칙을 추가하였고, 그 결과 모델의 성능이 개선되는 것을 확인하였습니다.

앞으로도 지속적인 모델 개선을 통해 더 좋은 서비스를 제공할 수 있도록 노력하겠습니다.

감사합니다.