Jump to content

사리미로

Members
  • 게시글

    6
  • 첫 방문

  • 최근 방문

Everything posted by 사리미로

  1. 답변 감사합니다. 말씀하신 부분 중 "다른 모델에 대한 서비스 앱 이용 시에는 해당하는 최대 이용량만큼 추가로 이용하실 수 있습니다." 에서 '다른 모델'이라함은 HCX-003, HCX-DASH-001 각각을 의미하는 것일까요? 아니면 서비스앱을 신청한 모델들, 예를들어, 고객센터챗봇(HCX-003), 사내문서검색챗봇(HCX-003)의 각각을 의미하는 것일까요? 첨부주신 링크인 이용량 제어정책 가이드나 다른 문의들의 답변을 참고해 전자로 이해하긴했으나 혹시나 싶어서 여쭤봅니다.
  2. 만약 후자로 메인계정에 전부 귀속되는 것이라면 이 제한을 더 해제할 수 있는 방법이 있나요?
  3. TPM 제한이 각 서비스앱 마다 50,000씩으로 API key당 적용되는지 서비스앱이 몇개이든 전부 통합되어 50,000으로 메인계정에 귀속되는 것인지 확인이 필요합니다.
  4. 테스트앱포함 60000 token으로 적절한 지는 테스트해보아야겠지만 혹여 서비스 이용자 수가 매우 많아 여의치 않을 경우 현재 정책상 최대 이용량 제한을 늘려달라고 요청이 가능할까요? 어려운 경우 우회방법으로 메인계정을 추가생성하는 방법이 떠오르는데 다른 방법도 있을까요?
  5. 답변 감사합니다. 추가로, 서비스 앱 승인 이후 TPM QPM은 어느정도로 책정이 되나요?
  6. 안녕하세요. 챗봇과 유사한 서비스를 개발하고있는데 도메인 특성상 LLM의 출력을 완전히 통제할 수 없어 LLM API를 실시간으로 붙이는 것이 아닌 시나리오 기반으로 테스트앱을 이용해 시나리오셋 답변 작성을 하고있는 상황입니다. 그런데 테스트앱엔 TPM이 매우 제한적으로 설정되어있어 출력을 뽑는데 상당한 시간이 소요되고 있어 혹시 이 부분을 서비스앱 등으로 제한을 풀 수 있을지 질문드립니다. 서비스앱을 신청하려고 보니 실시간 서비스에만 신청할 수 있는건가 싶은데 그런 기준이 있나요?
×
×
  • Create New...