멀티버스: 하이퍼클로바가 만들어 내는 문장의 미학적, 확률적 차원 세계

[CLOVA Studio 운영자]

※이번 포스팅은 다음 논문에서 영감을 받아 작성되었습니다.

L. Reynolds, K. McDonell. Multiversal views on language models. (2021). https://arxiv.org/pdf/2102.06391.pdf

 

하이퍼클로바, 확률 기반 모델

하이퍼클로바 언어 모델은 주어진 문장을 분석하고, 다음 단어나 토큰을 예측하도록 학습되었습니다.

언어 모델이 토큰을 선택하는 근거는 주어진 문맥과 확률에 기반합니다.

주어진 입력 문장의 이전 텍스트를 통해 가장 적절한 다음 토큰을 예측하는 것이죠.

 

이렇듯 언어 모델은 왼쪽에서 오른쪽으로 흘러가며 토큰을 선택하는 모습을 보이고 있습니다.

이 과정에서 언어 모델은 하이퍼 파라미터와 같은 미세 조정을 통해 선택이 달라질 수 있습니다.

 

▼ 여기 문장이 하나 있습니다.

‘너의 밤은 낮보다 아름답다.’라고 무드등이 주는 분위기를 살려서 감성적인 카피를 작성했습니다.

 

▼ ‘너의’ 단어 뒤에 ‘밤’이라는 단어가 선택된 것인데요.

‘밤’ 이외의 다른 후보들이 있었는지 살펴볼까요?

▲ 후보 토큰을 살펴보니, 마음, 방, 공간, 꿈, 우주 등 여러 대안 후보가 존재했습니다.

그럼 만약 하이퍼클로바 언어모델이 다른 토큰을 선택했다면, 어떤 문장이 만들어질까요?

▼ 다른 단어로 대체하여 실행해 보았습니다.

비슷한 분위기의 문장이지만 각기 다른 방식으로 표현하고 있죠.

 

다양한 가짓수의 가능성

언어 모델은 어떤 토큰을 선택하는지에 따라 다른 가지의 경로를 만들어 낼 수 있습니다.

우리의 선택으로 다양한 가짓수의 미래가 만들어지듯이 말이죠.

▼ 아래는 돛단배, 바람, 푸른 달을 가지고 만들어진 장면에 대한 묘사입니다.

다양한 가능성이 존재하는 확률적 세계에서 이 문장은 어떤 표현으로도 묘사가 될 수 있을까요?

다차원을 탐험하는 타임머신이 되듯이 다른 토큰을 선택하면서, 문장을 만들어보았습니다.

▼  아래는 '너머'의 다른 대안 후보들입니다.

▼ 토큰을 하나씩 바꿔가면서 실행해보았습니다.

제시된 세 가지 키워드(돛단배, 바람, 푸른 달)를 어떻게든 포함시키는 형태로 다른 방식으로 문장을 써내려갑니다.

 

모델이 가장 적절한 토큰을 선택하는 과정 자체를 학습에 이용하면 어떻게 될까요?

더 나아가 토큰 단위가 아니라, 문장 단위로 평가를 해나가면 어떨까요?

좋은 문장을 선택하는 능력을 갖추게 된 언어 모델은 지금보다 훨씬 향상된 스토리텔링 능력을 갖추게 되지 않을까요?

 

ToT(Tree of Thoughts)

 

실제로 최근 ToT(Tree of Thoughts)라는 방법론이 공개되었습니다. 여러개의 응답을 생성한 뒤,

각 답변에 점수를 부여하고, 이 과정을 반복하면서 가장 높은 점수를 갖고 있는 결과를 낼 수 있도록 학습한 것이죠.

확률적으로 탐색을 진행하는 점에서 Monte Carlo tree search (MCTS)와도 유사합니다.

논문에 따르면 이전보다 크게 향상된 문제 해결 능력을 갖추게 되었다고 합니다.

S.Yao, D. Yu, J. Zhao, I. Shafran, T. Griffiths, Y. Cao, K. NarasimhanTree of Thoughts: Deliberate Problem Solving with Large Language Models. (2023). https://arxiv.org/pdf/2305.10601.pdf

 

이러한 방법론은 시나리오 생성 및 창의적인 글쓰기 등에서도 활용할 수 있지 않을까요?

 

확률적으로 생성하는 것이 그대의 운명이라면,

 

하이퍼클로바 언어 모델, 어쩌면 글을 써내려갈 수 밖에 없는 운명이라고 불리울 수 있습니다.

그것이 운명이라면 가장 최선의 선택을 하고 좋은 방향으로 흘러갈 수 있도록 지속적으로 탐구를 해야겠습니다.

이상, 탐구를 마치며 다음에도 유용한 포스팅으로 찾아오겠습니다!