AI 튜닝 학습시킬때 csv 파일 utf-8 로 변환하면 한글 깨지는데 이대로 학습 시키는건가요?

[쿨피스]

현재 이 파일인데 이대로 학습 시키면되는지 궁금해서 문의 드립니다.

0726_데이터셋4.csv

[CLOVA Studio 운영자]

@쿨피스님, 안녕하세요.

0726_데이터셋.csv에서는 한글 깨지는 현상을 해결하신걸로 보이는데 맞을까요?

추가로 문의 주신 글에서 이어서 답변드리도록 하겠습니다.

감사합니다.

[쿨피스]

추가 문의 에서 올린 파일은 utf-8로 인코딩 하기 전인데, 저 파일을 utf-8로 바꾸면 한글이 깨져서 깨지는현상을 수정한다음 학습을 시켜야하는지 궁금합니다.
utf-8(bom)으로하면 한글 깨지는 현상은 없는데 이렇게 해도 되는지도 궁금합니다.

[쿨피스]

@CLOVA Studio 운영자
추가 문의 에서 올린 파일은 utf-8로 인코딩 하기 전인데, 저 파일을 utf-8로 바꾸면 한글이 깨져서 깨지는현상을 수정한다음 학습을 시켜야하는지 궁금합니다.
utf-8(bom)으로하면 한글 깨지는 현상은 없는데 이렇게 해도 되는지도 궁금합니다.

[CLOVA Studio 운영자]

@쿨피스님, 일반 utf-8 표준으로 해주셔야 할 듯합니다.

한글이 깨진 경우 학습 진행 시 제대로 진행이 안될 것입니다.

아래 파일은 제가 엑셀에서 utf-8로 변경해본 것입니다.

0726_데이터셋2.csv

감사합니다.