시간을 달리는 하이퍼클로바

[CLOVA Studio 관리자2]

안녕하세요. CLOVA Studio 입니다. 😁

 

초대규모 AI, 하이퍼클로바 언어모델에게는 부족한 점이 하나 있어요.

바로 시의성입니다.

 

그도 그럴것이 하이퍼클로바 언어모델 학습에 이용된 데이터는 바로 학습을 한 시점까지의 데이터라는 점이죠.

그래서 최신성을 유지하기가 어렵습니다.

그리고 하이퍼클로바 언어모델은 시간에 대한 기준이 없다보니,

작업을 하다보면 "어라? 이건 요즘 최신 정보가 아닌데?" 싶을때가 있어요.

 

오늘은 시간에 대해서 몇가지 실험을 해보겠습니다!

 

 

▼하이퍼클로바 언어모델의 최신성을 테스트 하기 위해 음악 차트 검색기를 만들어 봤습니다.

최근 몇년 사이의 대표곡들을 예제로 넣어두고요.

 

▼2021년을 검색 해보았습니다.

2021년 10월까지의 정보는 커버하는 듯 합니다.

2022년 1월의 경우 당연하게도 하이퍼클로바 언어모델이 답을 내지 못했습니다.

 

'하이퍼클로바 언어모델은 2021년말 이후 발생한 이벤트에 대한 지식이 부족하다'는 점 숙지해두세요.

만약 만들고자 하는 작업이 특정 시점의 정보를 정확히 알아야하는 경우라면,

저희가 준비중인 '튜닝'이라는 서비스를 통해서 원하는 데이터를 직접 학습시키는 방법이 있습니다.

 

잠깐! 여기서 그냥 넘어갈 제가 아니죠.

이왕 시작한거 잠시 시간 여행을 다녀올까요?

 

▼1930년을 입력하니, 이난영, 남인수의 히트곡이 출력됩니다.

1800년대까지 가봤습니다! 1829년의 오페라가 나오네요.

삼국시대라고 하니 기원전 17년의 '황조가'가 출력됩니다...! 덜덜

 

 

▼ 좋아! 기원전 1000년까지 가보자고! 😵‍💫

 

 

클로바에게 특정 연도를 입력하면, 그 연도를 인식하면서 대화를 할 수 있을까요?

 

▼ 1988년도라고 가정하고 프롬프트를 작성해보았습니다.

우리나라에서 가장 높은 건물이 뭐냐고 물었더니, '63빌딩'이라고 답했습니다.

 

▼ 같은 조건에서 2020년이라고만 바꾸고 다시 물어볼까요?

'롯데월드타워'라고 답하네요.

(참고로 이 작업은 몇 턴 내에서만 유효하고, "잠실에서는 뭐가 높은데?"처럼 유도하면 프롬프트의 연도를 따르지 않습니다.)

 

연도는 정확성이 떨어지고, 오답을 낼 가능성이 크니까 생성 모델에는 적합하지 않은 듯 합니다.

그러면 약간은 두리뭉실하게 계절로 정의하면 어떨까요?

 

▼ 계절은 가을이라고 지시문을 작성하고, 주말에 입을 옷을 물어보았습니다.

가을엔 바람이 많이 부니 '트렌치 코트'를 입으라고 추천하네요.

 

▼ 여름이라고 정의해두었더니, 날씨가 더우니 '흰색 티셔츠'를 입으라고 합니다.

흰색 티셔츠...우리 클로바...코디 좀 배워야겠어요...

 

 

이 실험은 우리에게 어떤 의미가 있을까요?

 

다음은 카드 문구를 작성해주는 예제입니다.

그런데 모델이 출력한 생성 결과 중에서는 계절에 어울리지 않는 카드 문구가 생성이 되는 경우가 있었습니다.

 

▼ 예를들면, 현재는 겨울인데 '날씨가 너무 덥더라'라는 문구가 생성된 것이죠.

 

▼ 이 문제는 계절을 입력하는 것만으로도, 크게 개선할 수 있었다고 합니다.

 

▼ 이렇게 크리스마스, 발렌타인 데이 처럼 시즌을 입력하는 것도 가능합니다.

 

계절, 시즌을 입력하는 것만으로도 성능이 향상될 수 있다는 사실, 놀랍지 않나요?

 

여기까지 하이퍼클로바의 시간 여행이었습니다.

시간을 다루는 법을 익혀 작업 성능을 더 높혀보세요!