nexusai

안녕하세요. 넥서스AI입니다. StreamingResponse의 마지막 청크로부터 in/out token과output text를 잘 사용중입니다. 그런데 간헐적으로 마지막 청크가 오지 않는 현상이 있습니다. 지금까지 추적된 해당 에러의 요청시간은 2024-03-22 14:59:46.070(Streaming 시작 추정 시각)~ 2024-03-22 14:59:51.514(Streaming 종료 추정 시각) 사이입니다. (한국시간 기준) API key등 세부 내용이 필요하실 경우 jungsea@nexusai.kr 로 연락 부탁드립니다.

HCX-003 엔진도 기존에 HCX-002를 제공하셨듯이 테스트앱, 서비스앱별 엔드포인트 생성하는 방식으로 제공될 예정이실까요? API 데이터 I/O 변경예정 내역도 모델 신규오픈 전 사전 공유 가능하실지 문의 드립니다.

임베딩 테스트앱 API 과는 별개입니다. 플레이그라운드에서 생성한 채팅 API에 대해 요청드립니다. 사용자로부터 질문(req.message 라고 하겠습니다.)이 들어오면, 해당 텍스트에 대해 다각적인 분석을 위해 /HCX-002 uri에 서로 다른 프롬프트를 넣어 여러 번 호출합니다. 예를 들면 아래와 같은 내용입니다. - 이 사람은 지금 밥을 먹고 싶니? 아래의 질문을 읽고 Yes or No로 답변해줘.\n{req.message} - 이 사람이 원하는 음료가 있니? 아래의 질문을 읽고 ["음료명","ice/hot여부"] 형태로 답변해줘.\n{req.message} - 이 사람과 함께 있는 사람은 누구고, 어떤 상황이니? 아래의 질문을 읽고 JSON 형태로 답변해줘.\n{req.message} 이 프롬프트를 세 번 직렬로 호출할 수도 있지만 asyncio 를 이용해 병렬로 호출하려 하고 있습니다. 각 내용에 대해 답변이 도착하면, /HCX-002 uri를 스트리밍 모드로 다음과 같이 호출합니다. - 너는 친절한 음식점 직원이야. 이 사람은 식당 손님인데, 너에게 문의를 하고 있어. 뭐라고 대답을 할까? 이 정보들을 참고해서 대답해줘. {{위에서 만들어온 HCX응답}}\n\n[질문] {req.message}\n\n[답변] 현재는 여러 테스트앱을 발급받아 1초에 1건만 호출되도록 롤링하는 소스를 이용하고 있습니다. 그런데 저희 상용서비스 오픈 직전이라 변인을 최소화한 테스트를 준비중인데, 상용서비스에는 서비스앱 API가 붙어야 하니 이 롤링 관련 소스가 빠지는 등 변인이 많아져 환경셋팅에 어려움이 있습니다. 따라서 정리드리면.. 내부적인 프로세스가 많아 자세히 말씀드리기는 어려우나 정상 테스트를 위해 필요한 최소 QPS는 현재까지는 5입니다.

안녕하세요. 현재 테스트앱이 초당 1번만 호출할 수 있어서, RAG및 서비스 품질향상을 위해 체이닝하는 과정에서 병렬처리가 전혀 불가능한 상황입니다. 정상적인 기능에 의한 부하테스트를 하여야 서비스앱 신청시에도 최대한 근사치로 말씀드릴 수 있을 것 같습니다. QPS를 크게 늘려주실 필요도 없고 초당 5건으로만으로라도 늘려주시면 개발 공수 절약에 큰 도움이 될 것 같습니다.

프롬프트 보완하여 해당 현상 이제 재현되지 않는걸로 확인했습니다. 도움 주셔서 감사합니다.

temperature 0.5를 주었을 때 위와같이 "맥락상 완전한 딴소리" 가 출력되었습니다. 이상답변이라는 표현은 과한 것 같고.. temperature가 예민하다... 정도로 이해하면 될까요?

안녕하세요. """음주운전을 했는데 제 처벌이 어떻게 될까요""" 라는 질문을 주입한 Prompt로 테스트를 진행하다가 전혀 다른 맥락의 질문이 출력되어 문의드립니다. (Prompt engineering 내용에는 문제가 없습니다.) 현재는 재현되지 않고, 이전에도 이런 적이 없었는데, 2023년 11월 23일 17시 경 테스트 한 내용 중에는 이 질문의 답변으로 다음과 같은 내용이 왔었습니다. 원인이 무엇일까요? 앞으로도 재현가능성이 있을까요? [답변 1] : 1. 점유이탈물횡령죄 성립 여부 먼저, 타인이 분실한 물건을 주인에게 돌려주지 않고 임의로 처분하면 점유이탈물횡령죄가 성립됩니다. 이 경우 1년 이하의 징역 또는 300만원 이하의 벌금 혹은 과료가 부과될 수 있습니다. 2. 공동정범 성립 여부 또한, 두 명 이상이 범죄를 공모하여 실행하였을 경우 공동정범이 성립되며, 이로 인해 가중 처벌 받을 수 있습니다. 따라서 현재로서는 위의 죄명으로 처벌받게 될 가능성이 높습니다. 3. 사기죄 성립 여부 만약 지인이 실제로 합의금을 받아놓고 이를 피해자에게 전달하지 않았다면 형법 제347조에 따라 사기죄가 성립될 수 있습니다. 또한, 기망행위로서 재산상의 이익을 취득했다면 10년 이하의 징역 또는 2천만원 이하의 벌금이 부과될 수 있습니다. 4. 대처 방안 현재 상황에서는 먼저 수사기관에 출두하여 자신의 혐의를 인정하고 반성하는 태도를 보이는 것이 좋습니다. 또한, 피해자와의 합의를 시도하며 적절한 금액을 제시하는 것이 중요합니다. 만약 혼자서 대응하기 어렵다면 변호사의 도움을 받는 것도 좋은 방법입니다. 5. 추가 문의사항 더 자세한 자문이 필요하다면 언제든지 문의해주세요. 최대한 도움을 드리겠습니다. [답변 2] : 먼저, 타인의 물건을 습득한 후 주인에게 돌려주지 않고 매각하려고 한 행위는 점유이탈물횡령죄에 해당할 수 있습니다. 점유이탈물횡령죄는 1년 이하의 징역 또는 300만원 이하의 벌금에 처해질 수 있으며, 범죄행위로서 전과기록이 남을 수 있습니다. 또한, 위증죄는 법정에서 증인이 허위 진술을 하는 경우에 성립하는 범죄이며, 5년 이하의 징역 또는 1천만원 이하의 벌금에 처해질 수 있습니다. 따라서, 사실확인서를 작성할 때에는 사실 그대로 작성하여야 하며, 거짓으로 작성하여서는 안됩니다. 만약 지인이 실제로 합의금을 전달하지 않았다면, 이는 사기죄에 해당할 수 있습니다. 사기죄는 사람을 기망하여 재물을 교부받거나 재산상의 이익을 취득하는 경우에 성립하는 범죄이며, 10년 이하의 징역 또는 2천만원 이하의 벌금에 처해질 수 있습니다. 따라서, 지인이 합의금을 전달하지 않았다면 이를 경찰에 신고하시고, 수사를 통해 진실을 밝혀내는 것이 중요합니다. 또한, 만약 지인이 위증죄나 사기죄 등의 범죄를 저질렀다면, 이에 대한 책임을 지게 될 수 있습니다. 마지막으로, 본인이 사건 관계자가 아니더라도 고소장 제출 시 필요한 정보를 알고 있다면 얼마든지 민원 접수실 방문 혹은 인터넷 사이트를 통해 문의하실 수 있습니다. 더 자세한 조언이 필요하시다면 직접 변호사와 상담하시는 것을 추천드립니다.

만일 그렇다면 1초에 1번만 호출할 수 있나요?

안녕하세요. 서비스 앱 신청 대상은 플레이그라운드, 튜닝, 스킬트레이너만 해당된다는 공지를 확인하였고(https://clovastudio.ncloud.com/service-application/form), 따라서 https://clovastudio.ncloud.com/explorer/tools 여기에 있는 도구들은 서비스 앱 신청 대상이 아닌 것을 확인했습니다. 그렇다면 여기에서 발행하는 '테스트앱' 은 사실상 서비스앱과 같은 정식 엔드포인트인가요? '테스트앱 발급' 기능으로 생성한 엔드포인트를 상용 서비스에 사용해도 되나요? 현재 우선적으로 검토해야 하는 API는 다음의 두 가지입니다. https://clovastudio.ncloud.com/explorer/tools/embedding https://clovastudio.ncloud.com/explorer/tools/chat-tokenizer

https://www.ncloud.com/support/question/service 여기에도 문의 남겼습니다.

네, 늘 동일한 에러가 발생합니다. 원하는 시간대에 언제나 재현할 수 있습니다. 일단 방금 또 남겨드렸습니다. (2023-11-21 14:51:13 KST)

안녕하세요. 일반적인 에러면 토큰 형태로, event:error 로 오는데, QPM보다 많이 요청해서 오는 에러는 {"status":{"code":"50000","message":"일시적으로 서비스 이용이 원활하지 않습니다. 잠시 후 다시 시도해주세요."}} 로 옵니다. 서비스앱에서도 이런 식으로 에러 형태가 두 가지 다 올 예정일까요? 아니면 둘 중 하나로 통합되나요?

QPM을 60건으로 답변주셨던 것으로 알고 있는데, 10건만에 이런 에러가 발생하고 있어서 의아합니다. 초당 1번으로 답변 주셨군요. 감사합니다.

테스트앱을 생성하고 서버를 만들어 부하테스트를 진행중입니다. 동시에 10건을 던지면 10건 중 9건에서 {"status":{"code":"50000","message":"일시적으로 서비스 이용이 원활하지 않습니다. 잠시 후 다시 시도해주세요."}} 가 리턴됩니다. 테스트앱만의 문제이고 실 서비스앱을 생성후 진행하면 해당 에러는 발생을 안하는게 맞을까요?

제 경험상 이 에러는 하이퍼클로바 챗모델에 너무 많은 글자가 들어가서 나는 에러입니다. 페이지 기본값이 궁금하네요 기본값이 10보다 작은 상황이라고 가정하면, pagesize=10 은 동작을 안하고 pageSize=10 만 동작한 게 아닐까요? pageSize=10 을 추가하면서 데이터량이 많아져서 토큰 넘치는 게 아닐까요? 만약 그렇다면 10말고 작은 값을 주면 같은 오류가 안날 것 같습니다

안녕하세요. hcx-python 패키지를 만드실 계획이 있으신지 궁금해하는 한편 사내용 패키지를 만들어 테스트앱을 사용중입니다. 현재 패키징을 진행하려는 기능은 채팅, 채팅 스트림, 임베딩 이렇게 세 개인데요. api key 하나만으로 모든 기능을 사용할 수 있는 openai 와 다르게 HCX-002 모델은 각 서비스 타입별뿐만 아니라 각 모델별로 독립된 앱을 먼저 생성하고 clovastudio_api_key, apigw_api_key, api_url 을 독립적으로 관리해야 하는 특성 때문에 추상화에 앞서 고민이 많습니다. 튜닝을 통해 여러 실험도 진행중이다보니 결국 앱url이 무한히 늘어날 예정인 것이죠. (결론적으로는 그 중 살아남은 1-2개만 상용기에 올리게 되겠지만요) 혹시 이와 관련하여.. 엔드포인트의 나이스한 관리방법이나 패키지 제작 팁 등이 있으시다면 가감없이 공유 주시면 좋겠습니다. 저는 아래와 같은 방식으로 사용할 패키지를 만들고 있습니다. from nexusai-hcx import HCX client = HCX( # defaults to os.environ.get("CLOVASTUDIO_API_KEY") # defaults to os.environ.get("APIGW_API_KEY") # defaults to os.environ.get("API_URL") clovastudio_api_key = "My API Key", apigw_api_key = "My API Key", api_url = "My API Url", ) #chat chat_completion = client.chat( messages=[ { "role": "system", "content": "당신은 법률 전문가이며 일반인을 대상으로 법률 상담을 진행하고 있습니다. 사용자의 법률 질문에 대답하세요." }, { "role": "user", "content": "안녕하십니까..." } ] ) #chat streaming stream = client.chat( messages=[ { "role": "system", "content": "당신은 법률 전문가이며 일반인을 대상으로 법률 상담을 진행하고 있습니다. 사용자의 법률 질문에 대답하세요." }, { "role": "user", "content": "안녕하십니까..." } ], stream=True, ) for part in stream: print(part or "") #embedding def get_embedding(text, model="clir-emb-dolphin"): text = text.replace("\n", " ") return client.embeddings.create(input = [text], model=model)['embedding'] df['hcx_embedding'] = df.combined.apply(lambda x: get_embedding(x, model='clir-emb-dolphin'))

안녕하세요. clovastudio.apigw.ntruss.com 과 clovastudio.stream.ntruss.com 모두 동작하고 있는데, 앞으로는 stream쪽으로 확정인가요?

인녕하세요. '튜닝' 작업과 '스킬 트레이닝' 작업의 기술 검토중에 있습니다. 각 기술검토에는 https://guide.ncloud-docs.com/docs/clovastudio-tuning 문서와 https://guide.ncloud-docs.com/docs/clovastuido-skillset-tuning 문서를 참고하였습니다. 사내 정보에 대한 상담 서비스를 위한 서버가 있다고 가정하겠습니다. #1 이 상담 서비스의 백엔드 로직은 다음의 세 가지 중 하나일 것으로 생각되는데 맞을까요? 1) RAG를 진행하여, 고객의 질문이 입력되면 해당 질문에 답변할 수 있는 사내 정보와 함께 고객 질문을 HCX 002 바닐라 모델 앱API에 던져 답변을 받는다. 2) 사내 정보를 정제해 파인튜닝을 진행하여 학습을 완료한다. 학습이 완료되면 앱API를 발급한다. 고객의 질문이 입력되면 HCX 002 튜닝 모델 앱API에 던져 답변을 받는다. 3) 사내 정보에 대한 정보를 주는 여러 엔드포인트를 선제작한다. 스킬셋을 만들고 이 엔드포인트들에 대한 상세한 설명을 담은 스킬들을 만들어 스킬셋에 추가한다. 예상되는 고객 질문을 추리고 해당 질문에 어떤 스킬을 이용할지를 정해보며 시나리오를 수집한다. 스킬 트레이너를 이용해 학습을 시킨다. 학습이 완료되면 앱API를 발급한다. 고객의 질문이 입력되면 스킬트레이너의 앱API에 던져 답변을 받는다. #2 RAG의 필요여부의 관점에서, 파인튜닝과 스킬트레이너 튜닝의 핵심 차이점이 무엇일까요? 파인튜닝은 보유지식등을 학습시키는 것으로 이해하고, 스킬트레이너 튜닝은 해당 스킬이 주는 정보의 내용 및 종류와 사용방법을 학습시키는 것으로 이해하면 될까요? 그렇다면 스킬트레이너 튜닝은 파인튜닝을 포함하는 개념(파인튜닝보다 나은 기능)이 되나요? #3 상기 가정했던 "사내 정보에 대한 상담 서비스" 의 답변 형태 관점에서는 파인튜닝과 스킬트레이너 튜닝의 핵심 차이점이 무엇일까요? 파인튜닝은 전반적인 답변 형태를 학습시키는 것으로 이해하고, 스킬트레이너 튜닝은 "고객 빈출질문에 대한 답변일 때(예상 시나리오에 있는 것이라면) 정말 잘 정형화된 대답을 하기 위해" 세부적으로 학습시키는 것으로 이해하면 될까요? #4 파인튜닝이든 스킬트레이너 튜닝이든 학습시키고자 하는 데이터의 양이 같다고 가정하겠습니다. (모든 데이터를 커버할 수 있는 시나리오를 작성하겠다고 가정하겠습니다.) 각 튜닝 간 비용 차이는 어떻게 될까요? #5 스킬트레이너 앱에도 스트리밍 응답 기능을 추가할 계획이 있으신가요? 긴 질문 일어주셔서 감사합니다. 질문에 대한 답변 외에도 떠오르시는 생각들이 있다면 가감없이 남겨주시면 큰 도움이 될 것 같습니다.

도움주신 덕분에 스킬을 잘 생성하였고 정상적으로 '저장' 버튼이 노출되어 클릭 후, '확인' 버튼을 클릭하여 과정을 마쳤으나, 작업중 상태에서 작업완료 상태로 변경되지 않습니다. 수정 시에도 정상적으로 200ok가 떨어지고 있는데 무엇이 잘못된 걸까요? 제 스킬은 하기의 고유번호를 가지고 있습니다. https://clovastudio.ncloud.com/api/v1/trainer/skills/4cdpgz3a

안녕하세요. 답변생성 가이드는 https://api.ncloud-docs.com/docs/clovastudio-generateskillsetfinalanswer 에서 확인중인데, 스킬 생성은 어떻게 하는걸까요?

자문자답을 남깁니다. https://clovastudio.ncloud.com/playground 에 들어가 테스트 앱을 발행하면 됩니다. 이후 테스트 앱 클릭 > 노출된 테스트 앱 생성 모달 창의 히스토리에서 > 신청 정보를 누르면 https://api.ncloud-docs.com/docs/ai-naver-clovastudio-summary 에서 소개하고 있는 엔드포인트와 키를 확인할 수 있습니다.

안녕하세요. API활용한 hcx 002 모델 테스트 환경 구축 시작 중에 엔드포인트 생성 방법과 키 발급에 대한 정확한 가이드 요청드립니다. https://api.ncloud-docs.com/docs/ai-naver-clovastudio-summary 해당 가이드에서 '공통 설정 > 테스트 앱 생성' 탭에서는 '네이버 클라우드 플랫폼의 게이트웨이 발급 프로세스' 에 따라 테스트 앱을 생성하라고 되어 있습니다. 그러나 해당 링크된 페이지에서는 Product 생성에 대해서만 다룰 뿐, 그 어디에서도 Chat Completions 등의 API명세에서 필수값으로 요구하는 테스트 앱이나 서비스 앱 생성 시 발급 받은 API KEY, 테스트 앱이나 서비스 앱 생성 시 발급 받은 API Gateway KEY 를 발급받는 절차는 없습니다. 가이드 내에 명시된 또다른 가이드 링크(https://www.ncloud.com/product/applicationService/apiGateway)를 클릭하면 API Gateway 상품 설명이 나옵니다. 거기에서 '사용 가이드'(https://www.ncloud.com/product/applicationService/apiGateway) 를 클릭하면 API Gateway 개요가 나오고, 좌측 메뉴에서 '사용 준비(https://guide.ncloud-docs.com/docs/apigw-spec)' 나 '시나리오 메뉴(https://guide.ncloud-docs.com/docs/apigw-procedure)' 등이 나옵니다만 모두 'Product 생성' 에 대해서만 다룰 뿐, 어느 메뉴에서도 클로바스튜디오에서 명시한 테스트 앱 생성에 대한 가이드는 없습니다.