CLOVA Studio 운영자

네, @aimento님, 프롬프트마다 차이는 있겠지만, 기본적으로 생성모델이다 보니, 매번 출력 시마다 결과가 다를 수 있습니다. 우선 반복 현상이 발생하지 않아서 다행인데요. 앞서 답변드린 내용으로 한번 적용 부탁드립니다. 반복 형상의 경향을 줄일 수 있을 것이라 생각합니다. 감사합니다.

안녕하세요, @aimento 님, - Stop sequence를 ### 처럼 지정하시면, 예제의 패턴과 유사한만큼만 출력이 됩니다. - max token을 1024처럼 설정하는 것을 권장하지 않습니다. 확률 시퀀스 기반의 모델이다보니, 출력이 길어질수록 앞서 입력한 프롬프트의 영향 범위에서 점점 멀어지기 때문에 품질이 떨어질 수 있습니다. 품질 보장을 위해 200~300토큰 정도로 설정하시길 권장드립니다. 감사합니다.

안녕하세요, @GSON님, LK-D와 LK-D2는 학습 기법이 다른 모델로 토큰 수 카운팅은 다를 수 있습니다. 감사합니다.

언어 모델 실험을 위한 최적의 장소, 플레이그라운드 AI 모델의 성능을 높이는 방법은 프롬프트 엔지니어링, 튜닝 등 여러 가지가 있습니다. 그중에서도 튜닝은 사용자 데이터를 활용하여 모델을 최적화하여 높은 정확도와 효율성을 달성하는 데 중요한 역할을 합니다. 하지만 이를 위해서는 학습 및 검증을 비롯한 다양한 테스트가 필요하죠. 그래서 저희는 튜닝 모델을 다양한 방식으로 테스트해볼 수 있는 신규 기능을 준비했습니다. 그럼, 지금부터 플레이그라운드로 튜닝 모델을 불러와서 활용하는 방법을 안내해 드리겠습니다! 이번 기회를 통해, 또 다른 성능 향상을 경험하실 수 있을 거예요. 멀티턴 대화하기 ▼ 이전에는 튜닝 상세 페이지에서 인퍼런스 테스트를 통해 응답 결과를 확인하셨을 것입니다. 그러나 대화 작업의 경우 단답 형태(싱글턴)로만 결과를 얻어야만 해서, 대화를 이어갈 수가 없었죠. 이제 플레이그라운드로 불러오면 멀티턴 대화를 해볼 수 있습니다. ① 모델 목록에서 불러오려는 튜닝 작업을 선택해주세요. ② Inject start text에 모델의 출력 앞에 붙일 단어를 입력해주세요. 줄바꿈해서 출력이 될 수 있도록, ↵를 앞에 붙였습니다. ③ Inject restart text에는 모델의 출력 뒤에 붙일 단어를 입력해주세요. 줄바꿈해서 사용자의 다음 발화를 입력할 수 있도록 ↵를 앞에 붙였습니다. ④ 이제 자연스러운 멀티턴 대화를 진행할 수 있습니다. 파라미터 조절하기 플레이그라운드에서 튜닝 모델을 불러온 후 파라미터 조절을 해보세요. 미세한 조정만으로 최적의 성능을 내는 설정값을 탐색할 수 있습니다. 과거에는 튜닝의 파라미터 값이 고정되어 있었지만, 이제는 그러한 제한이 없어져 더욱 다양한 성능 향상을 끌어 낼 수 있습니다. 사례를 하나 소개해드릴게요. ▼ 영문 뉴스를 한글로 요약한 데이터셋을 준비했습니다. 우측 Completion을 보면 요약문은 2~3줄 정도의 분량을 유지하고 있습니다. ▼ 하지만 어째서인지 우리가 예상한대로 요약 결과가 출력되지 않았습니다. 오히려 번역과 유사한 결과를 보여주었죠. ▼ 이 문제를 해결하기 위해 플레이그라운드로 요약 작업을 불러온 후 파라미터를 조절해보겠습니다. ▲ 이제 영어 원문에 대한 한글 요약을 제대로 출력해주고 있네요. 파라미터를 조절함으로써 정확도를 높일 수도 있습니다. ▼ 다음은 '가파라서’라는 오타를 잡아내지 못했던 상황인데요. ▼ 플레이그라운드로 불러온 후, temperature와 repetition penalty를 조절해서 올바른 결과를 도출했습니다. 플레이그라운드에서는 사용자가 중간에 개입을 할 수 있으므로, 초기 결과 이후에도 더 나은 결과를 도출할 수 있습니다. ▼ 이 문장에서는 '어제밤부터'와 '별동별'에 맞춤법 오류가 두 개 존재합니다. 하지만 어째서인지 하나만 수정되었습니다. ▼ 이후 문장에 쉼표(,)를 입력하여 모델이 다음 문장에 대해서도 체크하도록 함으로써, 다음 오류도 발견할 수 있었습니다. 물론 데이터셋을 보강하여 문제를 해결해야 하지만, 다양한 방법으로 언어 모델을 테스트하면서 보완해야 할 영역을 찾아갈 수 있을 것입니다. 클로바 스튜디오는 여러분의 AI 업무를 원활히 수행하실 수 있도록 끊임없이 기능을 개선하고 있습니다. 더욱 향상된 서비스를 제공하겠습니다. 많은 관심과 기대 부탁드립니다!

안녕하세요, @aimento님, 프롬프트를 어떻게 구성하였는지, 작업 유형에 따라 이런 반복 출력이 발생할 수 있습니다. 우선 몇 가지 방법을 안내 드려보겠습니다. Repetition penalty를 살짝 높이면, 반복 출력에 대한 패널티를 주어서, 동일한 문장이 나오지 않게 할 수 있습니다. 프롬프트에 예제가 1개만 보여지고 있는데요, 예제를 몇 개 더 구성하는 Few-shot learning 형태로 구성하시면, 모델의 결과를 더욱 원하는 형태로 나오게 할 수 있습니다. 예제를 몇 개 더 구성해주세요! Inject start text에 '↵(엔터)지문:' 형태로 구성하여서, 모델이 '지문:' 이후부터 출력하도록 하는 것이 품질상 더 좋을 수 있습니다. 감사합니다.

※ 본 포스팅은 클로바 공식 홈페이지 및 채널 테크에 게재된 내용입니다. (바로가기) 초대규모 데이터,하이퍼클로바 기술이 탑재된 No-code AI도구CLOVA studio. 국내최초이자 세계 최대의 한국어 언어 모델인 하이퍼클로바를 기반으로 AI기술이 모두의 능력이 될 수 있도록 문장 창작/분류/요약/문체 변환 등을 돕는 도구입니다. CLOVA studio의 베타테스트를 신청한 사업체의 수는 1000개 이상. 그 중 600여개의 스타트업들이 실제 서비스를 준비하고 있습니다. 광고 문구부터 자소서, 창작글까지 다양한 능력을 바탕으로 서비스를 진행하고 있는 스타트업들의 실제 사례를 소개합니다. “시선을 확! 끄는 문장을 원한다면?” 광고 문구를 작성해주는 카피라이터 AI 1) 아스타컴퍼니의 AI 카피라이터 서비스 ‘카피클’ 아스타컴퍼니의 <카피클>은 기획자, 마케터, MD, 크리에이터, 소상공인, 스타트업 등 광고 문구가 필요한 분들이 빠르고 쉽게 문구를 생성할 수 있도록 도와주는 AI 서비스입니다. CLOVA Studio는 타 언어모델 대비 뛰어난 마케팅 카피 문구 생성능력을 바탕으로 <카피클>서비스의 ‘상품 언어(상품 설명)’, ‘광고 헤드라인’, ‘세일즈 카피’ 생성 기능에 활용되고 있습니다. “좋은 레퍼런스이자 인사이트가 되어주는 파트너”, “카피 만드는 시간이 확 줄었어요” 등 이미 서비스를 경험한 사용자들의 긍정적인 후기들이 이어지고 있는데요, <카피클> 서비스에서 직접 경험해 보세요. ▲ https://moducopy.ai/ 2) 뤼튼테크놀로지스의 AI 카피라이팅 서비스 ‘뤼튼(wrtn)’ 간단한 키워드만으로 완성도 높은 문구와 초안을 작성할 수 있는 AI 카피라이팅 서비스 <뤼튼>. 개발에 최적화된 사용성과 뛰어난 한국어 능력을 가진 CLOVA Studio는 <뤼튼>서비스의 페이스북 광고 카피, 제품 소개 문구, 세일즈 이메일, 회사 소개 문구 등 다양한 카테고리의 문장 창작에 활용되고 있습니다. 높은 완성도로 다양한 직군의 사용자로부터 호평을 받고 있는 <뤼튼>의 문장 창작 능력을 만나보세요. ▲ https://wrtn.ai/ 3) 현대백화점 사내 카피라이터 ‘루이스(Lewis)’ 루이스는 현대백화점의 감성과 고급 언어, 세련된 뉘앙스 등에 가장 부합하는 문구 특징을 익혀서 문장 및 문맥을 이해하고 생성할 수 있으며 감성적이고 창의적인 작문이 가능합니다. 행사 참여 브랜드와 테마, 시즌 등 핵심 키워드를 입력하면 10초 안에 제목과 본문으로 조합된 카피가 추출됩니다. 타깃의 연령대까지 고려해 문구의 톤과 어투를 조절하는 ai 서비스입니다. 누구나 멋진 스토리텔러가 될 수 있다 나의 창작을 돕는 보조 작가 AI 1) 우주문방구의 세계관 중심 스토리 플랫폼 ‘스토리네이션’ ‘우주문방구’의 <스토리네이션>은 사용자가 이야기의 설정을 더하거나 새로운 세계관을 설계할 수 있도록 스토리 창작을 돕는 플랫폼 서비스입니다. 토리(tori) AI는 스토리네이션에서 만나볼 수 있는 AI 보조 작가입니다. 사용자가 입력한 문장에 대해 어울리는 다양한 표현을 추천해줘 스토리 창작을 원활하게 해줍니다. ▲ https://www.uju-munbanggu.com/ 2) 뤼튼 테크놀로지스의 AI 작문 보조 솔루션 ‘뤼튼 트레이닝’ ‘뤼튼 트레이닝’은 사용자의 생각을 한 편의 짧은 글로 완성시키는 과정을 연습하는 서비스입니다. 도입-작성-퇴고에 이르는 작문의 과정에서, 단계에 알맞는 안내를 제공하여 글을 완성하는 과정을 도와주죠. 뤼튼 트레이닝의 도움말/추천 모델은 사용자가 입력한 글에 대해 적절한 피드백을 주고, 글쓰기에 참고할 수 있는 참고 자료를 추천해주어 수준 높은 글의 완성을 돕습니다. ▲ https://training.wrtn.ai/ 3) 창작 보조 작가가 되어주는 ‘아나트(Anate) by 이크림’ 아나트(ANATE)는 무궁무진한 스토리를 인공지능과 빅데이터를 통해서 창작해내고 스토리에 관심 많은 유저들의 피드백을 통해 성장하는 스토리 전문 인공지능(AI) 플랫폼입니다. 수많은 스토리 관련 데이터 학습을 통해 원하는 스토리를 만들 수 있도록 도움을 줍니다. ▲ https://www.anate.co.kr/ 자소서,이젠 쉽게 쓰자 자소서는 물론, 커리어 경력 데이터까지 관리해주는 AI 1) 임플로이랩스의 직장인 경력 데이터 관리 서비스 ‘잡브레인’ 임플로이랩스의 <잡브레인>은 직장인들을 위한 경력 데이터 관리 서비스로 자신의 경력사항(근무 회사, 입사일, 퇴사일 등)을 자동으로 생성해 주며 커리어 제안까지 제공하는 서비스입니다. 직장인이라면 누구나 공감할 이력서 업데이트의 막막함을 <잡브레인>은 CLOVA Studio를 활용, ‘AI 자소서 생성 기능’을 적용함으로써 더욱 높은 완성도의 자소서 및 포트폴리오 작성 환경을 구축했습니다. <잡브레인>에서 CLOVA Studio의 능력을 확인해 보세요. ▲ https://company.jobbrain.co.kr/main 2) 앱플랫폼의 자소서 초안 및 글쓰기 서비스 ‘라이팅젤’ 앱플랫폼의 <라이팅젤>은 대입 자소서, 취업 자소서 자동 완성 기능을 비롯하여 일기, 이메일 쓰기, 소설 등 개인 및 창작자들이 자신의 콘텐츠를 기획하고 만드는 과정에 필요한 다양한 종류의 글쓰기를 인공지능을 통해 더욱 쉽게 접근할 수 있도록 돕습니다. <라이팅젤>은 하이퍼 클로바가 탑재된 CLOVA Studio의 월등한 한국어 데이터 학습량을 바탕으로 한국어 맥락에 최적화된 결과를 제공합니다. 대입/취업 자소서 및 컨설팅, 소상공인, 교육기관 등 글쓰기가 필요한 모든 곳에서 쉽고 빠르게 활용할 수 있습니다. ▲ https://tinytingel.ai/ 인스타그램 업로드까지 알아서 척척 마케팅 게시글까지 알아서 관리하는 AI 1) 유니드컴즈의 AI 마케팅 자동화 서비스 ‘킵그로우(KeepGrow)’ 유니드컴즈 <킵그로우>는 쇼핑몰 사업자에게 “성공한 쇼핑몰의 업무 습관”처럼, 마케팅 업무를 꾸준히 대신 수행해주는 마케팅 자동화(MA) 서비스를 제공하고 있습니다. <킵그로우>는 고객사의 네이버 스마트 스토어 내 상품 정보(상품 썸네일 이미지, 상품명)를 기반으로 고객사의 인스타그램 계정에 게시물을 주기적으로 포스팅 해주는 ‘인스타그램 Ai 피드 포스팅’기능을 출시했는데요, CLOVA Studio의 텍스트 분석 기능을 활용하여 게시글이 중복될 경우, 자동으로 새로운 문장이 반영됩니다. 인스타그램 마케팅의 중요성을 알고 계신 스마트 스토어 담당자라면 <킵그로우>에서 제공하는 다양한 기능을 확인해 보세요. ▲ https://app.keepgrow.com/admin/store 인공지능 챗봇을 돕는 인공지능 단비의 AI 챗봇 서비스 ‘단비Ai & 에이아이런’ <단비Ai>는 일상속 자연어를 인공지능이 인식하여 대답하거나 업무를 처리하는 기업용 챗봇 빌더 서비스입니다. <에이아이런>은 학생들이 직접 챗봇을 만들어 볼 수 있는 교육용 서비스입니다. 챗봇빌더에서 가장 어렵고 시간이 많이 소요되는 부분은 챗봇 학습인데요, CLOVA Studio의 텍스트 생성 기능을 활용하여 챗봇 학습을 위한 예문/단어 추천 기능을 만들 수 있었습니다. 인공지능 챗봇을 만드는데 인공지능이 도움을 주는 신기하고 유익한 경험, <단비Ai>, <에이아이런>에서 만나보세요. 클로바 스튜디오를 통해 스타트업, SME, 창작자들이 AI 기술을 통해 다양한 혁신의 가능성을 실험할 수 있도록 지원하고 있습니다. ▲ https://danbee.ai/

안녕하세요, @HTGD님, 클로바 스튜디오 담당입니다. 데이터셋과 관련한 오류로 보입니다. 자세한 원인 파악을 위해 해당 작업을 진행하신 아이디와 함께 아래 링크를 통해 문의 접수 부탁드립니다. https://www.ncloud.com/support/question/service 감사합니다.

안녕하세요, @김재복님, 클로바 스튜디오 담당입니다. 클로바 스튜디오를 이용해주셔서 감사드립니다. 요청하신 HTTP status code 를 살펴본 결과, JSON 형태로 보내지 않으신 것 같습니다. Header 에 Content-Type 을 application/json 으로 지정하시고, 스펙에 안내되어 있는 형태로 Request 부탁 드리겠습니다. 확인부탁드리며 추가적인 문의가 있으실 경우 코멘트 부탁드립니다. 감사합니다.

안녕하세요, @beans 님, 현재 튜닝 작업에 대해서는 삭제 기능을 제공하지 않고 있는데요. 내부적으로 검토해보겠습니다. 좋은 의견 주셔서 감사합니다.

안녕하세요, @NERD 님, 클로바 스튜디오 담당입니다. 1. 현재 튜닝된 모델에 추가 학습하는 기능은 지원하지 않고 있습니다. 추가 학습이 필요한 경우 재학습을 부탁드립니다. 2. 보유하고 계신 데이터를 가지고 학습을 통해 만든 모델은, 해당 데이터에 최적화된 고유한 ID의 모델입니다. 저희가 튜닝 과정에서 제공하는 베이스 모델의 데이터 자체가 변경되는 경우는 없으며, 변경이 되는 경우 다른 이름의 모델로 새로 추가가 될 예정입니다. 또한 다른 외부의 다른 데이터가 튜닝하신 모델 작업에 간섭하지 않습니다. 감사합니다.

안녕하세요 @테라리움님, 정확히는 작업하신 프롬프트를 봐야겠으나, 첨부해주신 이미지를 살펴보니 stopBefore가 ""로 비어있어서 생성이 되지 않은 듯 합니다. 프롬프트에서 ### 등으로 예제 구분을 하셨다면, stopBefore에도 ### 입력 후 다시 시도를 부탁드립니다. 감사합니다.

안녕하세요, @국어영역님, 클로바 스튜디오 담당입니다. 튜닝 관련 가이드 페이지를 안내 드립니다. 내용 참고하셔서 원하시는 목적에 맞게 데이터셋 구성하시고 튜닝을 시도해보시기 바랍니다. https://guide.ncloud-docs.com/docs/clovastudio-tuning01 감사합니다.

안녕하세요! 오랜만에 올리는 포스팅이네요. ChatGPT가 전 세계에 돌풍을 일으키고 있는 요즘입니다. 저는 오늘 여러분께, 새로운 프롬프트 스킬을 소개하려고 합니다. 그동안 대규모 언어모델(LLM)은 산술 문제나 상식을 추론하는 능력이 떨어진다고 알려져 왔는데요. 작년 경 'Chain-of-Thought Prompting Elicits Reasoning in Large Language Models'라는 논문을 게재했는데, 이것이 언어모델의 성능을 크게 향상했다고 합니다. (논문 링크) 바로 Chain-of-Thought(CoT)인데요. 문제의 인과 관계에 대해서 차근차근 풀어서 전개하다 보면, 정답에 더 잘 도달할 수 있다는 개념입니다 ‘문제-답’ 대신에 ‘문제-풀이-답’ 형태로 프롬프트를 구성하는 것이죠. 그럼 지금부터 여러분께 CoT 프롬프트 스킬을 소개해 드리겠습니다. 예를 들면, 이런 방식이에요. ▼ 문제의 답을 단답형으로 구성한 기존의 프롬프트는 좌측처럼 오답을 내었습니다. 하지만 우측처럼 문제를 풀이하는 과정을 예제로 넣었더니, 정답으로 귀결되었습니다. 아마도 LLM의 특징을 잘 이해한 스킬이 아닐까요? LLM은 시퀀스 기반으로 빈칸 채우듯이 문장을 생성하는 특징이 있다보니, 이러한 특징을 살려서 중간 과정을 단계별로 풀이했을 때, 그 성능이 좋아진 것이 아니었을까 생각이 듭니다. ▼ 논문에 소개된 다양한 예제입니다. 산수(arithmetic)뿐만 아니라, 일반 상식(common sense), 기호 추론(symbolic reasoning)으로도 테스트 했다고 합니다. ▼ 아래와 같이 성능이 크게 향상되었다고 해요. 이 스킬을 하이퍼클로바 언어 모델에 적용해도 효과적일까요? 결론부터 말씀드리면, “효과가 있다!” 입니다. 몇 가지 실험을 해보았습니다. (Temperature: 0.15~3.0) ▼ 단답 형태의 예제로 구성한 프롬프트는 오답을 내었습니다. ▲ 반면, 풀이 과정을 문장으로 풀어서 예제를 구성했더니, 정답이 나왔습니다. ▼ 더 난이도 있는 문제들로 테스트 했습니다. 기존 프롬프트는 오답이었는데, CoT 프롬프트는 정답이 출력되었습니다. ▼ 날짜를 가지고 추론하는 문제에서도 효과를 보았습니다. 이러한 경험들은 ChatGPT에서도 이어집니다. ▼ ChatGPT에서도 산수 문제를 단계별로 풀이하면서 정답을 내고 있습니다. 그리고 ‘step-by-step’으로 답을 하라고 명령하는 것도 효과적이에요. Chain-of-Thought prompting을 통해 예전에는 많이 부족하던 LLM의 계산 능력을 끌어올릴 수 있었습니다. 하지만 여전히 오답을 내는 경우도 있기 때문에, 수학은 언어 모델이 풀어야 할 영역 중 하나입니다. 그래도 이러한 시도들이 모여서 언젠가 '수학'도 잘하는 AI가 될 수 있겠죠? 다양한 예제가 있는 'Large Language Models are Zero-Shot Reasoners' (링크) 논문 링크를 추가로 소개 드리며, 오늘 글은 여기서 마치겠습니다!

안녕하세요, @wyatt님, 클로바 스튜디오 담당입니다. 좋은 의견 감사합니다. 내부 담당자에게도 전달드려 긍정적으로 검토해보겠습니다. 감사합니다.