CLOVA Studio 운영자

안녕하세요, @combacsa님, 클로바 스튜디오는 현재 안정적인 서비스 제공을 위해 테스트 앱의 경우 1 QPS (Query Per Second, = 60 QPM) 기준으로 이용량을 제한하고 있습니다. 클로바 스튜디오는 현재 베타 서비스 중으로, 해당 수치는 향후에 변경될 수 있다는 점과 시스템 인프라 상황에 따라 보장되지 않을 수 있는 점 참고 부탁드리겠습니다. 감사합니다.

안녕하세요, @nexusai님, 네, 이전의 apigw url은 아마도 긴 응답에서 정상적으로 스트리밍 응답을 하지 못했을 것입니다. 새로 적용된 clovastudio.stream.ntruss.com 로 이용하시면 되겠습니다. 감사합니다.

안녕하세요, @cycle1223님, 지난주 토큰 스트리밍 적용이 완료되어, 이제 정상적으로 이용이 가능하십니다. 다만 clovastudio.stream.ntruss.com 로 url 변경이 필요한데요. 아래 가이드의 예시 코드를 참고 부탁드립니다. 가이드: https://api.ncloud-docs.com/docs/clovastudio-sendchatcompletionsbymodelname 이용에 어려움이 있으실 경우 다시 코멘트 부탁드립니다. 감사합니다.

안녕하세요, @nexusai님. 첨부해주신 이미지를 보니, Manifest 중 Schema version 필드가 채워지지 않아서 "작업 중" 상태에 있는 것 같습니다. 해당 필드 값까지 채워주시면 스킬 생성 작업이 완료될 수 있을 것입니다. 추가적인 문의가 있으시다면 언제든지 남겨주세요. 감사합니다.

안녕하세요, @nexusai 님. 스킬 트레이너 사용 가이드는 아래 링크 참고해 주시길 바랍니다. 스킬 생성 방법에 대해 자세히 안내되어 있습니다. https://guide.ncloud-docs.com/docs/clovastudio-skill 추가적인 문의가 있으시다면 언제든지 남겨주세요. 감사합니다.

안녕하세요, @kyliechoi님, 클로바 스튜디오 담당입니다. 불명확하게 답변드린 것 같습니다. 죄송합니다. 우상단 메뉴 > 내 작업 > 튜닝 탭에서 작업을 확인하신 후 > 작업 상세에서 테스트 앱 버튼을 클릭하여 진행하실 수 있습니다. https://guide.ncloud-docs.com/docs/clovastudio-tuning01 확인 부탁드리며, 이용에 어려움이 있을 경우 추가 문의 부탁드립니다. 감사합니다.

안녕하세요, @kyliechoi님, 클로바 스튜디오를 이용해주셔서 감사드립니다. 플레이그라운드에서 튜닝 모델을 불러왔을 경우 현재는 인퍼런스 테스트만을 지원하고 있습니다. 튜닝 모델의 테스트앱 발급은 튜닝 페이지에서 가능하며, 플레이그라운드에서도 테스트앱이 발급 가능하도록 개선 검토하겠습니다. 감사합니다.

안녕하세요, @cycle1223님, 좋은 의견 감사합니다. 말씀주신 내용은 담당부서에 전달하여 내부적으로 검토해보도록 하겠습니다. 감사합니다.

안녕하세요, @SH.LEE님, 클로바 스튜디오 담당입니다. 보다 자세한 안내를 위해 번거로우시겠지만 아래 링크에서 로그인 후 문의 남겨주시면 검토 후 답변 드리겠습니다. https://www.ncloud.com/support/question/service 감사합니다.

안녕하세요, @cycle1223님, 클로바 스튜디오 담당입니다. 서비스 이용에 불편을 드려 죄송합니다. Chat completions API를 통한 토큰 스트리밍 기능은 11월 초에 정상적으로 이용하실 수 있도록 제공 예정입니다. 감사합니다.

@nexusai님, 네, 플레이그라운드나, 익스플로러의 API 상세 페이지에서 테스트 앱을 발행하실 수 있습니다. 테스트 발급 과정이 잘 보일 수 있도록 추후 가이드 개선 검토하도록 하겠습니다. 감사합니다.

@j5ng님, 안녕하세요, 클로바 스튜디오 팀입니다. 먼저 CLOVA Studio에 많은 관심 가져주셔서 감사합니다. 현재 CLOVA Studio는 베타 서비스로, [서비스 앱 신청 절차]를 통해 확인하는 ‘일별 예상 QPM’은 원활한 서비스 운영 및 제공을 위한 참고 목적으로서 입력된 수치를 보장하는 것은 아닙니다. 일정 수준 이상의 QPM을 보장하는 CLOVA Studio Exclusive를 올해 말~내년 초 출시할 계획이니 참고 부탁드리며, 문의주신 내용을 반영하여 사용자 분들께 보다 만족스러운 서비스를 제공할 수 있도록 노력하겠습니다. 감사합니다.

안녕하세요, @j5ng님, 클로바 스튜디오 팀입니다. 현재 서비스용 인프라가 골고루 분산될 수 있도록 세워진 QPM(Queries Per Minute)기준입니다. 보다 효율적인 인프라 운용을 위한 다양한 기준은 지속되고 있으며, 말씀하신 서비스 확장성도 포함하여 지속 모니터링 및 관리될 예정입니다. QPM 관리 기준에 따라, 여러 개의 서비스 앱을 동시에 사용하는 경우 '반려' 처리 될 수 있다는 점 너른 양해 부탁드립니다. 감사합니다.

안녕하세요, @이준기님, 서비스에 많은 관심을 가져주셔서 감사드립니다. 이제 클로바 스튜디오의 플레이그라운드를 통해 HyperCLOVA X를 이용하실 수 있게 되었습니다. https://clovastudio.ncloud.com/playground 시스템 프롬프트 활용 가이드도 함께 전달드립니다. 감사합니다.

안녕하세요, @j5ng님, 에러가 발생하는 경우 별도 과금이 발생하지 않습니다. 감사합니다.

이제 클로바 스튜디오의 플레이그라운드에서 챗 모드를 통해 HyperCLOVA X 모델을 이용해보실 수 있습니다. HyperCLOVA X 모델을 보다 잘 활용할 수 있는 시스템 프롬프트 이용 가이드(v0.5)를 안내드립니다.

👉 지난 편 보러가기 토크니의 모험은 계속된다!

CLOVA X는 초대규모 언어모델인 HyperCLOVA X 기술을 바탕으로 만들어진 대화형 에이전트입니다. 어떤 주제든 풍부하게 대화를 나눌 수 있고, 이전과는 다른 차원의 탐색 경험을 제공하지요. 거기에 더해서 CLOVA X는 스킬 연동을 통해, 서비스 API와 연결이 되어 최적의 답변을 찾아줄 수 있습니다. 스킬을 이용해 정보의 정확성, 전문성, 최신성을 확보할 수 있게 되었죠. 현재 CLOVA X에는 네이버 여행, 네이버 쇼핑 스킬이 적용되어 있는데요. 저는 이번에 CLOVA X를 이용해서 여행 계획을 세우고, 여행을 직접 다녀오는 재미있는 일을 벌여 봤습니다. 먼저 대략적인 여행 계획을 세워볼까요! ▼ 1박2일 전주 여행 계획을 세워서 표로 만들어달라고 요청했습니다. ▲ 1박2일 일정의 시간표를 만들어주었네요! 하지만 이것만으로는 어디 어디를 보는 게 좋을지 알기가 어렵네요. ▼ 장소를 좀 추려서 알려달라고 했습니다. 전주 코스 중에서 꼭 봐야 할 장소 다섯 군데를 추려주었습니다. 근데 잠깐! 전주에 동물원이 있다고요?! ▼ 스킬을 켜고 전주동물원에 대해서 자세히 물어봅니다. 전주동물원에 대한 자세한 정보와 입장료까지 안내를 해주네요. 후후. 저렴한 가격이 마음에 들어 방문했지요! ▲ 보기 드문 동물들이 많아서 무척 만족한 도토리군. 슬슬 배가 고프네요. 전주에 왔으니, 전주 비빔밥을 먹어보기로 합니다. ▼ 가마솥 비빔밥 유명한 집을 알려달라고 하니, 식당 한 곳을 찾아서 알려주네요. ▼ 와~ 제가 먹어본 비빔밥 중에서 제일 맛있었습니다. 만족스러운 식사 후 전주 한옥 마을로 ㄱㄱ! 화창하지만 무더운 날이었습니다. ▼ 시원한 빙수집을 알아볼까요? 딸기를 좋아하는 아이를 위해 딸기 빙수 파는 곳을 알아봅니다. 딸기 빙수를 판매하는 몇 군데 장소를 알려줍니다. ▼ 마음에 드는 곳을 골라서, 위치를 물어봅니다. 주소와 영업시간, 전화번호 모두 올바르게 설명해주고 있네요. (스킬을 실행하지 않은 상태입니다.) ▼ 빙수 한 그릇에 더위가 한 방에 날아갔습니다. HyperCLOVA X는 한국의 문화, 맥락에 특화되어있는 것 뿐만 아니라, 지역 기반의 다양한 정보들에 대해서도 매우 높은 정확성을 보여주고 있습니다. ▼ “전주 한옥마을에 있는 오래된 나무”에 관해서 물어볼까요? 전주 한옥마을에는 600년 된 은행 나무가 있다고 하네요. ▼ 타 서비스는 뭐라고 대답했을까요? 한옥마을에 있는 다양한 나무들에 대해 설명해주고 있습니다. 한옥마을 근처 '경기전'에 대나무 숲이 있으니, 아예 틀린 답변은 아닌 듯하네요. 하지만 제가 원하던 대답은 아니었습니다. 제 발로 직접 찾아가 봅니다! ▼ 600년된 은행나무가 우두커니 서있네요. 한국땅은 우리가 훤히 꿰고 있는디~~ *^^* 이제 한옥 마을 투어를 마무리하고, 다른 곳으로 이동하기 위해 주차장으로 갑니다. 알쏭달쏭 궁금한 것이 있을 때 CLOVA X에서 물어보면 답을 알려주곤 합니다. ▼ 저공해 차량 할인이 되는지 물어봤더니, 저공해 차량 스티커를 부착하면 될 거라고 하는군요. ▼ 굿! "전주에 연꽃이 있는 호수가 있다 들었소." 이제 마지막 장소로 이동해볼까요? ▼ 연꽃이 있는 호수에 관해서 물었더니, 두 군데를 알려주네요. 그럼 덕!진!공!원!으로 가볼게요~ ▼ 무성한 연꽃에서 은은한 향기가 가득합니다. ▼ 덕진공원에서 할만한건 뭐가 있을까요? 덕진공원에는 전통 한옥 느낌의 도서관이 있다네요. ▼ 그리고 연화정 도서관은 무료라고 합니다. 매주 월요일은 휴관이라는데, 다행히 이 날은 일요일이었습니다. ▼ 분위기 좋은 한옥 도서관에서 한 숨 돌립니다. 이제 1박2일의 짧은 일정을 마무리하고 집으로 돌아갑니다. HyperCLOVA X가 우리의 일상에 녹아들어, 앞으로 얼마나 새로운 경험을 제공하게 될지 매우 기대가 됩니다. 이만 CLOVA X로 떠나는 여행기를 마치며, 다음에는 해외여행을 도전해 보렵니다.

안녕하세요, @ATS님, 작업해주신 대화의 내용을 살펴봤는데, ???의 아이덴티티에 대한 정의가 없어서, 어떤 답변을 내뱉어야 하는지 기준이 모호한거 같습니다. ▼ 아래와 같이 지시문에 아이덴티티에 해당하는 내용을 적어주고, temperature를 낮추면, 원하는 형태의 작업이 가능할 것으로 보입니다. 언어 모델은 프롬프트를 바탕으로 다음에 나올 단어를 예측하면서 생성하는 원리이며, 무엇인가를 기억한다고 100% 보장하기가 어려우며, 대화가 쌓여갈수록 가장 앞에 입력한 프롬프트의 영향에서 멀어질 수 있다는 특성에 대해서 알아두시면 좋을것 같습니다. 감사합니다.

안녕하세요, @알아가는중입니다님. 1. 기존에 이용하시던 하이퍼클로바 모델을 그대로 유지하며, 업그레이드 된 하이퍼클로바X 모델도 추가될 예정입니다. 2. 네, 맞습니다. 하이퍼클로바X 모델을 이용하여, 대화형 작업을 진행하실 수 있습니다.

※ 본 포스팅은 하이퍼클로바 언어모델에 대한 내용입니다. 하이퍼클로바 언어 모델을 공개한 이후 터득해 온 저희의 여러 가지 프롬프트 노하우를 알려드리겠습니다. 1. 프롬프트의 예제를 다양하게 구성하세요. 프롬프트의 유형은 크게 세 가지가 있습니다. 예제를 구성하지않고 요청하는 zero-shot 프롬프트, 하나의 예제로 구성하는 one-shot 프롬프트, 여러 개의 예제로 구성하는 few-shot 프롬프트가 있습니다. 우리는 이것을 In-context learning이라고 부릅니다. 적절한 예제의 개수는 작업에 따라 달라질 수 있으며, 모델이 잘 이해하는 작업의 경우 3~4개의 예제만 넣어도 잘 수행합니다. 프롬프트에 예제를 몇 개나 넣어야 하는지 궁금해하시는 분들이 많이 계시는데요. ▼ 예제는 무조건 많이 넣어주기보다는 모델이 다양한 케이스에 대한 패턴을 파악할 수 있도록 구성하는 것이 효과적입니다. 원하는 결과가 나오지 않을 때는 예제를 다시 점검해보고 모델에게 정확히 가르쳐주세요. 2. 모델이 출력할 항목을 정확히 지정하세요. 모델이 출력할 결과에 대한 항목을 정확히 지정하는 것이 도움이 될 수 있습니다. ▼ 예를 들어, [항목:] 또는 {검정 분류}와 같은 형식을 말합니다. 이 방법은 튜닝을 위해서 데이터셋 구축하는 데에도 유용하게 쓰일 수 있습니다. 3. 컨텍스트 정보를 활용해보세요. 계절감 ▼ 계절감 있는 출력결과가 나오게 하고 싶으면, 예제에 날짜나 시즌 어휘를 추가해주세요. 초대규모 언어모델은 학습된 날짜까지만 답을 할 수 있으며, 오늘 날짜와 현재 시간은 어떤지 현실 세계와의 연결이 되어있지 않습니다. 시간축을 넣는 것으로 모델에게 시간에 대한 힌트를 줄 수 있습니다. 단, 시즌, 계절감 처럼 넓은 범위의 기간 형태로 쓰일 수 있을 것이며, 정확한 시간을 기준으로 연산에는 부정확할 수 있습니다. 대상자 지정 ▼ 대상자를 지정해두는 것이 좋을 수도 있습니다. 대상자를 넣어줌으로써 대상자를 정확히 인식하면서 문장의 목적을 구체화 시키는 것이죠. 이외에도 컨텍스트 정보는 다양하게 활용할 수 있습니다. 4. 지시문을 넣어주세요. ▼ 프롬프트 앞에 명료하게 지시문을 적어주면 작업의 성능이 향상될 수 있습니다. ▼ 지시문은 최대한 쉽게 풀어서 단순하고 명료하게 작성해 주세요. ▼ 그리고 지시문을 쓸 때 예제 항목에 쓰인 단어를 함께 넣어서 연관성을 높여보세요. 지시문과 항목의 관계성을 높이는 것이죠. 단, 지시문은 복잡한 조건을 보장하지 않기 때문에, 여러 개의 복잡한 조건을 거는 것은 효과적이지 않을 수 있습니다. 5. 지시문에는 부정문보다 긍정문을 사용해주세요. 부정문보다는 긍정문을 사용해보세요. “정중하지 않게 쓰지 않습니다.”보다는 “정중하게 씁니다”, “길지 않게 설명합니다.”보다는 “짧게 설명합니다.”와 같이 최대한 풀어서 설명해서 명료해지는 것이죠. 언어모델은 기본적으로 생성해 내려는 특성이 있다보니, ‘~하지 마세요’처럼 제한을 거는 것 보다는, 긍정적인 방향으로 허용하는 형태가 나을 수 있습니다. 6. 지시문과 예제를 섞어보세요 지시문이랑 예제를 어우러질 수 있도록 하는 것이 효과적일 수 있습니다. 예제를 나열하면서 시퀀적인 패턴으로 인식하게 하는 것보다는 독립적인 구성이 될 수 있도록 하는 것이죠. 7. 단조로운 예제를 바꾸어보세요. 예제가 단조로우면, 실행 결과도 단조로울 수 있습니다. 이때는 Temperature를 아무리 높여도, 문장의 창의성이 더해지지는 않아요. ▼ 상품 큐레이션에 사용할 수 있을만한 감도 깊은 광고 카피들로 구성하면, 언어 모델이 생성하는 결과의 품질이 달라집니다. 8. 키워드로 모델에 변수를 부여해보세요. ‘키워드’에 어떤 분위기나, 단어를 지시함으로써, 더욱 원하는 느낌의 결과가 나오게 할 수 있습니다. 이런 방법을 가지고, 모델을 통제하고 제어할 수 있기도 합니다. 이때 키워드는 아무 키워드나 쓰지 않고, 키워드와 문구를 어느정도 매핑시키는 형태로 예제를 구성하는 것이 좋습니다. 9. 낯설게, 불편하게 조합해보세요. 어울릴 거 같지 않은 두 단어를 조합해 보세요. 새로운 조합을 통해 참신하고 주목도가 높은 문장이 만들어질 수 있습니다. AI는 기계적인 학습을 통해 언어를 이해하고 생성하기 때문에, 사람처럼 감정을 직접 체험하거나 경험할 수는 없습니다. 하지만 한국어에 특화된 하이퍼클로바 언어모델은 언어 데이터에서 아주 섬세한 감성적인 뉘앙스를 파악하고, 단어와 단어 상의 관계성이나, 문맥, 어조를 고려해서, 문장을 만들어 낸다는 특징이자 강점이 있습니다. 하이퍼클로바 언어 모델은 이러한 부분에서 여타 AI에 비해 전혀 밀리지 않고 있습니다. 이외에도 프롬프트를 다룰 수 있는 다양한 노하우가 존재합니다. 여러분의 프롬프트 노하우는 무엇인가요? 하이퍼클로바 노하우는 여기서 마무리하도록 하겠습니다. 곧 안내드릴 하이퍼클로바X 모델의 활용 팁도 기대해주세요!

※이번 포스팅은 다음 논문에서 영감을 받아 작성되었습니다. L. Reynolds, K. McDonell. Multiversal views on language models. (2021). https://arxiv.org/pdf/2102.06391.pdf 하이퍼클로바, 확률 기반 모델 하이퍼클로바 언어 모델은 주어진 문장을 분석하고, 다음 단어나 토큰을 예측하도록 학습되었습니다. 언어 모델이 토큰을 선택하는 근거는 주어진 문맥과 확률에 기반합니다. 주어진 입력 문장의 이전 텍스트를 통해 가장 적절한 다음 토큰을 예측하는 것이죠. 이렇듯 언어 모델은 왼쪽에서 오른쪽으로 흘러가며 토큰을 선택하는 모습을 보이고 있습니다. 이 과정에서 언어 모델은 하이퍼 파라미터와 같은 미세 조정을 통해 선택이 달라질 수 있습니다. ▼ 여기 문장이 하나 있습니다. ‘너의 밤은 낮보다 아름답다.’라고 무드등이 주는 분위기를 살려서 감성적인 카피를 작성했습니다. ▼ ‘너의’ 단어 뒤에 ‘밤’이라는 단어가 선택된 것인데요. ‘밤’ 이외의 다른 후보들이 있었는지 살펴볼까요? ▲ 후보 토큰을 살펴보니, 마음, 방, 공간, 꿈, 우주 등 여러 대안 후보가 존재했습니다. 그럼 만약 하이퍼클로바 언어모델이 다른 토큰을 선택했다면, 어떤 문장이 만들어질까요? ▼ 다른 단어로 대체하여 실행해 보았습니다. 비슷한 분위기의 문장이지만 각기 다른 방식으로 표현하고 있죠. 다양한 가짓수의 가능성 언어 모델은 어떤 토큰을 선택하는지에 따라 다른 가지의 경로를 만들어 낼 수 있습니다. 우리의 선택으로 다양한 가짓수의 미래가 만들어지듯이 말이죠. ▼ 아래는 돛단배, 바람, 푸른 달을 가지고 만들어진 장면에 대한 묘사입니다. 다양한 가능성이 존재하는 확률적 세계에서 이 문장은 어떤 표현으로도 묘사가 될 수 있을까요? 다차원을 탐험하는 타임머신이 되듯이 다른 토큰을 선택하면서, 문장을 만들어보았습니다. ▼ 아래는 '너머'의 다른 대안 후보들입니다. ▼ 토큰을 하나씩 바꿔가면서 실행해보았습니다. 제시된 세 가지 키워드(돛단배, 바람, 푸른 달)를 어떻게든 포함시키는 형태로 다른 방식으로 문장을 써내려갑니다. 모델이 가장 적절한 토큰을 선택하는 과정 자체를 학습에 이용하면 어떻게 될까요? 더 나아가 토큰 단위가 아니라, 문장 단위로 평가를 해나가면 어떨까요? 좋은 문장을 선택하는 능력을 갖추게 된 언어 모델은 지금보다 훨씬 향상된 스토리텔링 능력을 갖추게 되지 않을까요? ToT(Tree of Thoughts) 실제로 최근 ToT(Tree of Thoughts)라는 방법론이 공개되었습니다. 여러개의 응답을 생성한 뒤, 각 답변에 점수를 부여하고, 이 과정을 반복하면서 가장 높은 점수를 갖고 있는 결과를 낼 수 있도록 학습한 것이죠. 확률적으로 탐색을 진행하는 점에서 Monte Carlo tree search (MCTS)와도 유사합니다. 논문에 따르면 이전보다 크게 향상된 문제 해결 능력을 갖추게 되었다고 합니다. S.Yao, D. Yu, J. Zhao, I. Shafran, T. Griffiths, Y. Cao, K. NarasimhanTree of Thoughts: Deliberate Problem Solving with Large Language Models. (2023). https://arxiv.org/pdf/2305.10601.pdf 이러한 방법론은 시나리오 생성 및 창의적인 글쓰기 등에서도 활용할 수 있지 않을까요? 확률적으로 생성하는 것이 그대의 운명이라면, 하이퍼클로바 언어 모델, 어쩌면 글을 써내려갈 수 밖에 없는 운명이라고 불리울 수 있습니다. 그것이 운명이라면 가장 최선의 선택을 하고 좋은 방향으로 흘러갈 수 있도록 지속적으로 탐구를 해야겠습니다. 이상, 탐구를 마치며 다음에도 유용한 포스팅으로 찾아오겠습니다!

안녕하세요, @twc 님, 아래 API 가이드 참고 부탁드리며, 진행하시다가 문의사항이 있다면 또 알려주세요. API 가이드: https://api.ncloud-docs.com/docs/ai-naver-clovastudio-summary 감사합니다.

안녕하세요, @wyatt님, 첨부해주신 사례의 경우에는 프롬프트로 편지를 읽어주는 형태로 예제를 구성하시거나, 튜닝으로 학습을 시키는 형태로 가능할 것 같습니다. 감사합니다.

안녕하세요, @twc님, 어떤 API 사용중에 발생한 것인지 알 수 있을까요? 그리고 괜찮으시면 request 내용도 알려주시면 도움이 될 것 같습니다. 감사합니다.