CLOVA Studio 운영자

안녕하세요, @이준기님, 서비스에 많은 관심을 가져주셔서 감사드립니다. 이제 클로바 스튜디오의 플레이그라운드를 통해 HyperCLOVA X를 이용하실 수 있게 되었습니다. https://clovastudio.ncloud.com/playground 시스템 프롬프트 활용 가이드도 함께 전달드립니다. 감사합니다.

안녕하세요, @j5ng님, 에러가 발생하는 경우 별도 과금이 발생하지 않습니다. 감사합니다.

이제 클로바 스튜디오의 플레이그라운드에서 챗 모드를 통해 HyperCLOVA X 모델을 이용해보실 수 있습니다. HyperCLOVA X 모델을 보다 잘 활용할 수 있는 시스템 프롬프트 이용 가이드(v0.5)를 안내드립니다.

👉 지난 편 보러가기 토크니의 모험은 계속된다!

CLOVA X는 초대규모 언어모델인 HyperCLOVA X 기술을 바탕으로 만들어진 대화형 에이전트입니다. 어떤 주제든 풍부하게 대화를 나눌 수 있고, 이전과는 다른 차원의 탐색 경험을 제공하지요. 거기에 더해서 CLOVA X는 스킬 연동을 통해, 서비스 API와 연결이 되어 최적의 답변을 찾아줄 수 있습니다. 스킬을 이용해 정보의 정확성, 전문성, 최신성을 확보할 수 있게 되었죠. 현재 CLOVA X에는 네이버 여행, 네이버 쇼핑 스킬이 적용되어 있는데요. 저는 이번에 CLOVA X를 이용해서 여행 계획을 세우고, 여행을 직접 다녀오는 재미있는 일을 벌여 봤습니다. 먼저 대략적인 여행 계획을 세워볼까요! ▼ 1박2일 전주 여행 계획을 세워서 표로 만들어달라고 요청했습니다. ▲ 1박2일 일정의 시간표를 만들어주었네요! 하지만 이것만으로는 어디 어디를 보는 게 좋을지 알기가 어렵네요. ▼ 장소를 좀 추려서 알려달라고 했습니다. 전주 코스 중에서 꼭 봐야 할 장소 다섯 군데를 추려주었습니다. 근데 잠깐! 전주에 동물원이 있다고요?! ▼ 스킬을 켜고 전주동물원에 대해서 자세히 물어봅니다. 전주동물원에 대한 자세한 정보와 입장료까지 안내를 해주네요. 후후. 저렴한 가격이 마음에 들어 방문했지요! ▲ 보기 드문 동물들이 많아서 무척 만족한 도토리군. 슬슬 배가 고프네요. 전주에 왔으니, 전주 비빔밥을 먹어보기로 합니다. ▼ 가마솥 비빔밥 유명한 집을 알려달라고 하니, 식당 한 곳을 찾아서 알려주네요. ▼ 와~ 제가 먹어본 비빔밥 중에서 제일 맛있었습니다. 만족스러운 식사 후 전주 한옥 마을로 ㄱㄱ! 화창하지만 무더운 날이었습니다. ▼ 시원한 빙수집을 알아볼까요? 딸기를 좋아하는 아이를 위해 딸기 빙수 파는 곳을 알아봅니다. 딸기 빙수를 판매하는 몇 군데 장소를 알려줍니다. ▼ 마음에 드는 곳을 골라서, 위치를 물어봅니다. 주소와 영업시간, 전화번호 모두 올바르게 설명해주고 있네요. (스킬을 실행하지 않은 상태입니다.) ▼ 빙수 한 그릇에 더위가 한 방에 날아갔습니다. HyperCLOVA X는 한국의 문화, 맥락에 특화되어있는 것 뿐만 아니라, 지역 기반의 다양한 정보들에 대해서도 매우 높은 정확성을 보여주고 있습니다. ▼ “전주 한옥마을에 있는 오래된 나무”에 관해서 물어볼까요? 전주 한옥마을에는 600년 된 은행 나무가 있다고 하네요. ▼ 타 서비스는 뭐라고 대답했을까요? 한옥마을에 있는 다양한 나무들에 대해 설명해주고 있습니다. 한옥마을 근처 '경기전'에 대나무 숲이 있으니, 아예 틀린 답변은 아닌 듯하네요. 하지만 제가 원하던 대답은 아니었습니다. 제 발로 직접 찾아가 봅니다! ▼ 600년된 은행나무가 우두커니 서있네요. 한국땅은 우리가 훤히 꿰고 있는디~~ *^^* 이제 한옥 마을 투어를 마무리하고, 다른 곳으로 이동하기 위해 주차장으로 갑니다. 알쏭달쏭 궁금한 것이 있을 때 CLOVA X에서 물어보면 답을 알려주곤 합니다. ▼ 저공해 차량 할인이 되는지 물어봤더니, 저공해 차량 스티커를 부착하면 될 거라고 하는군요. ▼ 굿! "전주에 연꽃이 있는 호수가 있다 들었소." 이제 마지막 장소로 이동해볼까요? ▼ 연꽃이 있는 호수에 관해서 물었더니, 두 군데를 알려주네요. 그럼 덕!진!공!원!으로 가볼게요~ ▼ 무성한 연꽃에서 은은한 향기가 가득합니다. ▼ 덕진공원에서 할만한건 뭐가 있을까요? 덕진공원에는 전통 한옥 느낌의 도서관이 있다네요. ▼ 그리고 연화정 도서관은 무료라고 합니다. 매주 월요일은 휴관이라는데, 다행히 이 날은 일요일이었습니다. ▼ 분위기 좋은 한옥 도서관에서 한 숨 돌립니다. 이제 1박2일의 짧은 일정을 마무리하고 집으로 돌아갑니다. HyperCLOVA X가 우리의 일상에 녹아들어, 앞으로 얼마나 새로운 경험을 제공하게 될지 매우 기대가 됩니다. 이만 CLOVA X로 떠나는 여행기를 마치며, 다음에는 해외여행을 도전해 보렵니다.

안녕하세요, @ATS님, 작업해주신 대화의 내용을 살펴봤는데, ???의 아이덴티티에 대한 정의가 없어서, 어떤 답변을 내뱉어야 하는지 기준이 모호한거 같습니다. ▼ 아래와 같이 지시문에 아이덴티티에 해당하는 내용을 적어주고, temperature를 낮추면, 원하는 형태의 작업이 가능할 것으로 보입니다. 언어 모델은 프롬프트를 바탕으로 다음에 나올 단어를 예측하면서 생성하는 원리이며, 무엇인가를 기억한다고 100% 보장하기가 어려우며, 대화가 쌓여갈수록 가장 앞에 입력한 프롬프트의 영향에서 멀어질 수 있다는 특성에 대해서 알아두시면 좋을것 같습니다. 감사합니다.

안녕하세요, @알아가는중입니다님. 1. 기존에 이용하시던 하이퍼클로바 모델을 그대로 유지하며, 업그레이드 된 하이퍼클로바X 모델도 추가될 예정입니다. 2. 네, 맞습니다. 하이퍼클로바X 모델을 이용하여, 대화형 작업을 진행하실 수 있습니다.

※ 본 포스팅은 하이퍼클로바 언어모델에 대한 내용입니다. 하이퍼클로바 언어 모델을 공개한 이후 터득해 온 저희의 여러 가지 프롬프트 노하우를 알려드리겠습니다. 1. 프롬프트의 예제를 다양하게 구성하세요. 프롬프트의 유형은 크게 세 가지가 있습니다. 예제를 구성하지않고 요청하는 zero-shot 프롬프트, 하나의 예제로 구성하는 one-shot 프롬프트, 여러 개의 예제로 구성하는 few-shot 프롬프트가 있습니다. 우리는 이것을 In-context learning이라고 부릅니다. 적절한 예제의 개수는 작업에 따라 달라질 수 있으며, 모델이 잘 이해하는 작업의 경우 3~4개의 예제만 넣어도 잘 수행합니다. 프롬프트에 예제를 몇 개나 넣어야 하는지 궁금해하시는 분들이 많이 계시는데요. ▼ 예제는 무조건 많이 넣어주기보다는 모델이 다양한 케이스에 대한 패턴을 파악할 수 있도록 구성하는 것이 효과적입니다. 원하는 결과가 나오지 않을 때는 예제를 다시 점검해보고 모델에게 정확히 가르쳐주세요. 2. 모델이 출력할 항목을 정확히 지정하세요. 모델이 출력할 결과에 대한 항목을 정확히 지정하는 것이 도움이 될 수 있습니다. ▼ 예를 들어, [항목:] 또는 {검정 분류}와 같은 형식을 말합니다. 이 방법은 튜닝을 위해서 데이터셋 구축하는 데에도 유용하게 쓰일 수 있습니다. 3. 컨텍스트 정보를 활용해보세요. 계절감 ▼ 계절감 있는 출력결과가 나오게 하고 싶으면, 예제에 날짜나 시즌 어휘를 추가해주세요. 초대규모 언어모델은 학습된 날짜까지만 답을 할 수 있으며, 오늘 날짜와 현재 시간은 어떤지 현실 세계와의 연결이 되어있지 않습니다. 시간축을 넣는 것으로 모델에게 시간에 대한 힌트를 줄 수 있습니다. 단, 시즌, 계절감 처럼 넓은 범위의 기간 형태로 쓰일 수 있을 것이며, 정확한 시간을 기준으로 연산에는 부정확할 수 있습니다. 대상자 지정 ▼ 대상자를 지정해두는 것이 좋을 수도 있습니다. 대상자를 넣어줌으로써 대상자를 정확히 인식하면서 문장의 목적을 구체화 시키는 것이죠. 이외에도 컨텍스트 정보는 다양하게 활용할 수 있습니다. 4. 지시문을 넣어주세요. ▼ 프롬프트 앞에 명료하게 지시문을 적어주면 작업의 성능이 향상될 수 있습니다. ▼ 지시문은 최대한 쉽게 풀어서 단순하고 명료하게 작성해 주세요. ▼ 그리고 지시문을 쓸 때 예제 항목에 쓰인 단어를 함께 넣어서 연관성을 높여보세요. 지시문과 항목의 관계성을 높이는 것이죠. 단, 지시문은 복잡한 조건을 보장하지 않기 때문에, 여러 개의 복잡한 조건을 거는 것은 효과적이지 않을 수 있습니다. 5. 지시문에는 부정문보다 긍정문을 사용해주세요. 부정문보다는 긍정문을 사용해보세요. “정중하지 않게 쓰지 않습니다.”보다는 “정중하게 씁니다”, “길지 않게 설명합니다.”보다는 “짧게 설명합니다.”와 같이 최대한 풀어서 설명해서 명료해지는 것이죠. 언어모델은 기본적으로 생성해 내려는 특성이 있다보니, ‘~하지 마세요’처럼 제한을 거는 것 보다는, 긍정적인 방향으로 허용하는 형태가 나을 수 있습니다. 6. 지시문과 예제를 섞어보세요 지시문이랑 예제를 어우러질 수 있도록 하는 것이 효과적일 수 있습니다. 예제를 나열하면서 시퀀적인 패턴으로 인식하게 하는 것보다는 독립적인 구성이 될 수 있도록 하는 것이죠. 7. 단조로운 예제를 바꾸어보세요. 예제가 단조로우면, 실행 결과도 단조로울 수 있습니다. 이때는 Temperature를 아무리 높여도, 문장의 창의성이 더해지지는 않아요. ▼ 상품 큐레이션에 사용할 수 있을만한 감도 깊은 광고 카피들로 구성하면, 언어 모델이 생성하는 결과의 품질이 달라집니다. 8. 키워드로 모델에 변수를 부여해보세요. ‘키워드’에 어떤 분위기나, 단어를 지시함으로써, 더욱 원하는 느낌의 결과가 나오게 할 수 있습니다. 이런 방법을 가지고, 모델을 통제하고 제어할 수 있기도 합니다. 이때 키워드는 아무 키워드나 쓰지 않고, 키워드와 문구를 어느정도 매핑시키는 형태로 예제를 구성하는 것이 좋습니다. 9. 낯설게, 불편하게 조합해보세요. 어울릴 거 같지 않은 두 단어를 조합해 보세요. 새로운 조합을 통해 참신하고 주목도가 높은 문장이 만들어질 수 있습니다. AI는 기계적인 학습을 통해 언어를 이해하고 생성하기 때문에, 사람처럼 감정을 직접 체험하거나 경험할 수는 없습니다. 하지만 한국어에 특화된 하이퍼클로바 언어모델은 언어 데이터에서 아주 섬세한 감성적인 뉘앙스를 파악하고, 단어와 단어 상의 관계성이나, 문맥, 어조를 고려해서, 문장을 만들어 낸다는 특징이자 강점이 있습니다. 하이퍼클로바 언어 모델은 이러한 부분에서 여타 AI에 비해 전혀 밀리지 않고 있습니다. 이외에도 프롬프트를 다룰 수 있는 다양한 노하우가 존재합니다. 여러분의 프롬프트 노하우는 무엇인가요? 하이퍼클로바 노하우는 여기서 마무리하도록 하겠습니다. 곧 안내드릴 하이퍼클로바X 모델의 활용 팁도 기대해주세요!

※이번 포스팅은 다음 논문에서 영감을 받아 작성되었습니다. L. Reynolds, K. McDonell. Multiversal views on language models. (2021). https://arxiv.org/pdf/2102.06391.pdf 하이퍼클로바, 확률 기반 모델 하이퍼클로바 언어 모델은 주어진 문장을 분석하고, 다음 단어나 토큰을 예측하도록 학습되었습니다. 언어 모델이 토큰을 선택하는 근거는 주어진 문맥과 확률에 기반합니다. 주어진 입력 문장의 이전 텍스트를 통해 가장 적절한 다음 토큰을 예측하는 것이죠. 이렇듯 언어 모델은 왼쪽에서 오른쪽으로 흘러가며 토큰을 선택하는 모습을 보이고 있습니다. 이 과정에서 언어 모델은 하이퍼 파라미터와 같은 미세 조정을 통해 선택이 달라질 수 있습니다. ▼ 여기 문장이 하나 있습니다. ‘너의 밤은 낮보다 아름답다.’라고 무드등이 주는 분위기를 살려서 감성적인 카피를 작성했습니다. ▼ ‘너의’ 단어 뒤에 ‘밤’이라는 단어가 선택된 것인데요. ‘밤’ 이외의 다른 후보들이 있었는지 살펴볼까요? ▲ 후보 토큰을 살펴보니, 마음, 방, 공간, 꿈, 우주 등 여러 대안 후보가 존재했습니다. 그럼 만약 하이퍼클로바 언어모델이 다른 토큰을 선택했다면, 어떤 문장이 만들어질까요? ▼ 다른 단어로 대체하여 실행해 보았습니다. 비슷한 분위기의 문장이지만 각기 다른 방식으로 표현하고 있죠. 다양한 가짓수의 가능성 언어 모델은 어떤 토큰을 선택하는지에 따라 다른 가지의 경로를 만들어 낼 수 있습니다. 우리의 선택으로 다양한 가짓수의 미래가 만들어지듯이 말이죠. ▼ 아래는 돛단배, 바람, 푸른 달을 가지고 만들어진 장면에 대한 묘사입니다. 다양한 가능성이 존재하는 확률적 세계에서 이 문장은 어떤 표현으로도 묘사가 될 수 있을까요? 다차원을 탐험하는 타임머신이 되듯이 다른 토큰을 선택하면서, 문장을 만들어보았습니다. ▼ 아래는 '너머'의 다른 대안 후보들입니다. ▼ 토큰을 하나씩 바꿔가면서 실행해보았습니다. 제시된 세 가지 키워드(돛단배, 바람, 푸른 달)를 어떻게든 포함시키는 형태로 다른 방식으로 문장을 써내려갑니다. 모델이 가장 적절한 토큰을 선택하는 과정 자체를 학습에 이용하면 어떻게 될까요? 더 나아가 토큰 단위가 아니라, 문장 단위로 평가를 해나가면 어떨까요? 좋은 문장을 선택하는 능력을 갖추게 된 언어 모델은 지금보다 훨씬 향상된 스토리텔링 능력을 갖추게 되지 않을까요? ToT(Tree of Thoughts) 실제로 최근 ToT(Tree of Thoughts)라는 방법론이 공개되었습니다. 여러개의 응답을 생성한 뒤, 각 답변에 점수를 부여하고, 이 과정을 반복하면서 가장 높은 점수를 갖고 있는 결과를 낼 수 있도록 학습한 것이죠. 확률적으로 탐색을 진행하는 점에서 Monte Carlo tree search (MCTS)와도 유사합니다. 논문에 따르면 이전보다 크게 향상된 문제 해결 능력을 갖추게 되었다고 합니다. S.Yao, D. Yu, J. Zhao, I. Shafran, T. Griffiths, Y. Cao, K. NarasimhanTree of Thoughts: Deliberate Problem Solving with Large Language Models. (2023). https://arxiv.org/pdf/2305.10601.pdf 이러한 방법론은 시나리오 생성 및 창의적인 글쓰기 등에서도 활용할 수 있지 않을까요? 확률적으로 생성하는 것이 그대의 운명이라면, 하이퍼클로바 언어 모델, 어쩌면 글을 써내려갈 수 밖에 없는 운명이라고 불리울 수 있습니다. 그것이 운명이라면 가장 최선의 선택을 하고 좋은 방향으로 흘러갈 수 있도록 지속적으로 탐구를 해야겠습니다. 이상, 탐구를 마치며 다음에도 유용한 포스팅으로 찾아오겠습니다!

안녕하세요, @twc 님, 아래 API 가이드 참고 부탁드리며, 진행하시다가 문의사항이 있다면 또 알려주세요. API 가이드: https://api.ncloud-docs.com/docs/ai-naver-clovastudio-summary 감사합니다.

안녕하세요, @wyatt님, 첨부해주신 사례의 경우에는 프롬프트로 편지를 읽어주는 형태로 예제를 구성하시거나, 튜닝으로 학습을 시키는 형태로 가능할 것 같습니다. 감사합니다.

안녕하세요, @twc님, 어떤 API 사용중에 발생한 것인지 알 수 있을까요? 그리고 괜찮으시면 request 내용도 알려주시면 도움이 될 것 같습니다. 감사합니다.

안녕하세요, @김재복님, ▼ 테스트앱을 생성하신 후, 플레이그라운드 화면 내 우측 상단에 위치한 ‘공유’ 버튼을 눌러 ‘공유 URL’을 생성해주세요. ▼ 그 이후에 서비스앱 신청 화면에서 신청할 작업에 생성해두신 ‘테스트앱’을 확인하실 수 있습니다. 테스트 앱은 테스트를 위한 임시 API입니다. 사용 제한이 있으며, 실서비스 구현을 위해서는 반드시 서비스 앱 신청을 완료해야만 합니다. 감사합니다.

안녕하세요, @wyatt님, 답변이 늦어져 죄송합니다. 저희쪽에서 확인 한 결과 outputText로 "" 빈 스트링 값이 나왔습니다. 다른 인풋으로 테스트 했을 때는 결과가 나오는 경우도 있어서 빈 스트링이 정상적인 인퍼런스 결과인 것으로 봐야 할 것 같습니다. 빈 스트링으로 나온 이유에 대해서 파악을 위해서는 데이터셋을 받아서 분석해봐야 할 것 같습니다. 번거로우시겠지만 아래 링크에서 로그인 후 문의 및 데이터셋 전달이 가능하시면 원인 파악을 해보도록 하겠습니다. https://www.ncloud.com/support/question/service 감사합니다.

@powerwarez님, 안녕하세요, 이용에 불편을 드려 죄송합니다. 정확한 실패 사유 확인을 위해서는 자세한 작업 정보가 필요하여 문의 채널로 안내드렸습니다. 본 오류는 문의 채널을 통해 안내드리도록 하겠습니다. 감사합니다.

안녕하세요, @powerwarez님, 정확한 내용 확인을 위해 번거로우시겠지만 아래 링크에서 로그인 후 문의 남겨주시면 원인 확인 후 답변 드리겠습니다. https://www.ncloud.com/support/question/service 감사합니다.

안녕하세요, @hel2o님, 클로바 스튜디오를 이용해주셔서 감사합니다. 1. 하이퍼클로바 언어모델은 시퀀스 기반으로 다음에 나올 단어를 예측해서 답변을 합니다. 그래서 입력값에서부터 실행을 하기때문에, 첨부 주시는 것처럼 이어써지는 현상이 발생할 수 있습니다. 이 경우에는 '코드:' 처럼 실행해야할 조건을 명시해두고 실행을 하는 것이 크게 도움이 될 수 있습니다. 예제에도 '코드:' 형태로 적어주시고, 입력값 뒤에도 '코드:'를 적은 뒤, 실행하는 것입니다. 2. Stop sequence에 ###라고 적었다면, 예제와 예제 사이에도 ###를 넣으셔야 합니다. 위에 첨부 이미지에서는 예시와 예시 사이에 ###가 보이지 않습니다. ###를 넣어보시고 실행해보세요. 3. 현재 클로바 스튜디오에서는 단어 필터링 기능을 제공하지 않고 있습니다. 특정 단어 필터링의 경우 후처리로 별도로 구현하셔야 할 듯 합니다. 감사합니다.

@albeniz 님, 네 맞습니다. 튜닝 진행 시 데이터셋의 completion을 원하시는 포맷으로 작성하시면, 해당 포맷에 모델이 최적화 되며, 해당 포맷 형태로 출력을 합니다. 말씀대로 "문장: 무향으로 자극없이... 키워드: 모이스쳐 프리미엄 워시, 무향, 보송함" 형태로도 가능할 것이며, "keywords":[] 형태로도 가능할 것입니다. 다만, 6월29일 정기 배포를 통해 튜닝의 성능이 더욱 개선될 예정이라, 해당 작업의 경우 배포 이후에 진행하시는 것을 추천드립니다. 감사합니다.

@알아가는중입니다님, 시스템 구조적으로 특정 케이스에서 오류 응답을 내려주고 있는데, 이를 개선하여 6월 29일 이후에는 해당 현상이 발생하지 않을 것으로 보입니다. 감사합니다.

안녕하세요, @albeniz님, 모델의 생성 결과를 특정 포맷으로 받는 것을 생각하시는게 맞을까요? 아래 이미지와 같이, result 영역의 포맷을 예제로 넣으신 후, 진행하실 수 있을 것 같습니다. 현재 플레이그라운드와 API에서는 text 형태로 전달을 하기 때문에, 분리를 하는 것은 후처리로 진행하셔야 할 듯 합니다. 감사합니다.

안녕하세요, @hel2o님, 클로바 스튜디오 담당입니다. 플레이그라운드에서 작업을 만드신 후 테스트 앱 발급을 통해 curl, phython 형식으로 API를 확인하실 수 있습니다. API 연동을 통해 필요하신 json 형식으로 활용가능하실 것으로 보입니다. 테스트앱 생성 가이드 https://guide.ncloud-docs.com/docs/clovastudio-playground01 Completion API 가이드 https://api.ncloud-docs.com/docs/ai-naver-clovastudio-completion 감사합니다.

안녕하세요, @이야기꾼님, 클로바 스튜디오에 많은 관심을 가져주셔서 감사합니다. 열심히 준비중이며, 곧 좋은 소식 안내드리겠습니다.

안녕하세요, @알아가는중입니다님, 서비스 이용에 불편을 겪으셨을텐데요. 6월29일 배포를 통해, 정상적으로 이용 가능할 것으로 보입니다. 배포 이후에도 지속적으로 문제가 발생할 경우, 아래 링크를 통해 문의 접수 부탁드립니다. https://www.ncloud.com/support/question/service 감사합니다.

안녕하세요, @crispy님, 클로바 스튜디오를 이용해주셔서 감사드립니다. 현재 1tps를 지원하고 있습니다. 따라서 1초에 1번으로 이용하는 것으로 처리 부탁드립니다. 테스트앱과 서비스앱의 tps는 다르게 적용되어있습니다. 감사합니다.

안녕하세요, @이야기꾼님, 현재 슬라이더를 통해 세부 조절하는과 숫자 영역 선택 후 입력 필드 입력을 지원하고 있습니다. 알수 없는 이유로 웹에서 발생하는 오류로 보이며, 현재 저희쪽에서 살펴보고 있으나 재현이 되지 않아서 원인 파악이 어려운 상황입니다. 오류가 발생하는 경우, 번거로우시겠지만 플레이그라운드를 다시 띄워서 작업 부탁드립니다. 혹시라도 문제 현상이 지속적으로 발생하는 경우, 재현 절차와 함께 회신 주시면 해결에 도움이 될 것 같습니다. 감사합니다.