초거대 AI 확산 생태계 조성 사업이 매년 진행 되고 있는데요.
기존의 AI 학습용 데이터와 달리 생성형 AI를 학습 시키기 위한 데이터의 편향을 줄이기 위한 "편향성(경향성, 유해성)" 항목이 품질 지표에 추가되었습니다.
https://www.aihub.or.kr/aihubnews/qlityguidance/view.do?currMenu=135&topMenu=103&nttSn=10269 (240131_[제2권] 초거대AI 데이터 품질관리 가이드라인 v3.1.pdf)
편향성(경향성, 유해성)은 기존에 없던 품질 지표라서 AI 학습용 데이터의 편향성 측정 방법을 알아 보던 중 네이버 AI 에서 SQuARe, KoSBi 데이터셋을 구축했다는 사실을 알게되었습니다.
- 관련 웹 페이지 : https://naver-llm-safety.pages.dev/about
- SQuARe, KoSBi 데이터셋 공유 경로 : https://github.com/naver-ai/korean-safety-benchmarks
현재의 clova에 위의 데이터셋이 적용되어 있는지 궁금합니다.
