질문/답변 내 특정키워드 포함시 답변 생성 중 오류 발생 문의

[이준기]

프롬프트, 질문, 답변에 특정 키워드가 포함되면 아예 답변 생성을 하지 못하고 오류가 발생합니다.

발견한 문제 키워드 : 518, 5.18 

프롬프트, 질문에 포함되어 있지 않더라도 답변에 문제 키워드가 포함시 답변이 출력되다가 중간에 끊기면서 오류를 반환합니다.

욕설이나 성적인 키워드 등의 필터링은 이해하지만 518 민주화운동 같은 키워드를 민감키워드로 분류하는건 분류기준을 의심하게 됩니다.

답변 생성시 문제를 일으킨 내용도 전화번호 중 ***-518*-*** 같은 518이 포함된 번호가 있어서 문제가 발생한 것 이었습니다.

 

6~7월 중 어느일정 기점으로 관련 오류가 폭증해서 고객센터에 관련해서 문의해도 AI윤리규칙을 준수한다고 답변만 하지 어떤 부분이 문제가 되는지 알려주질 않습니다.

네이버클라우드 측에서 민감키워드로 지정한 리스트를 요청하면 공유해준다던지 공지를 하지 않는다면 사용자 입장에서는 원인파악이 어려운 상황입니다.

정치적인 민감키워드를 공지하거나 옵션으로 필터링하지 않는 등의 방안 검토 부탁드립니다.

 

"특정 주제와 관련된 사항은 출력을 제공하지 않습니다. 요청 내용을 수정해주세요."

[CLOVA Studio 운영자]

안녕하세요, @이준기님,

서비스 이용에 불편을 드려 죄송합니다.

내부 정책상 필터링 로직이 적용되어 있는데요.

해당 부작용이 개선되도록 7월23일 수정 배포될 예정입니다.

배포 이후에는 해당 문제가 발생하지 않을 것으로 보입니다.

감사합니다.

[이준기]

23일 수정배포 된다고 답변 하셔서, 24일 다시 테스트 해봤으나 동일하게 전화번호 ***-5189-**** 문구가 프롬프트나 질문/답변에 포함되면 40006 오류가 발생합니다.

문제 키워드 "518" 로 계속 필터링 되는것 같은데 수정 버전이 배포된게 맞나요?

[CLOVA Studio 운영자]

안녕하세요, @이준기님.

네, 23일 저녁에 배포 완료 되었습니다.

웹 플레이그라운드에서 일부 숫자가 노출된 것은 토큰 단위 출력 과정에서 마스킹이 적용되지 않은 웹 상의 기술적 문제로, 추후 개선할 예정입니다.

정확한 필터링 결과는 API를 기준으로 확인해 주시기 바랍니다.

감사합니다.