HyperClova X Seed 모델에 대한 문의 사항.

[Axel]

안녕하세요.

CLOVA STUDIO TEAM.

다름이 아니고,  4월 23일 HypperCLOVA X SEED 게시글을 확인하여서

SEED 모델의 0.5 B / 1.5 B / 3 B 3가지 모델에 대해서 알게되었습니다.


다름이 아니라,

해당 게시글 (https://clova.ai/tech-blog/ai-생태계에-씨앗을-뿌리다-상업용-오픈소스-ai-hyperclova-x-seed)
에서,

Quote

HyperCLOVA X SEED 0.5B는 고품질 학습 데이터와 고성능의 HyperCLOVA X 플래그십 모델을 활용해 유사 체급의 경쟁 모델보다 39배 적은 비용으로 학습되었습니다.

라는 설명과 함께, 0.5 B 모델의 A100 GPPU Hours / cost 정보가 산출되어있었습니다.

이때, 사용한 학습 데이터에 대한 정보는 찾을 수 없었는데요.

어떤 데이터셋을, 총 토큰수는 몇 토큰이며, 원본 용량은 어느정도인 것을 기준으로 해당 table이 산출되는 것인지 알고 싶습니다.

게시가 된지 시간이 좀 지났는데, 해당 관련딘 정보와 tech report를 제가 찾을 수 가 없어서 문의 글을 올립니다.


감사합니다.


※ 해당 게시글에 반영된 비용 정보.

학습 비용 (pre-training)	HyperCLOVA X SEED 0.5B	QWEN2.5-0.5B
A100 GPU hours	4,358	169,257
Cost (USD)	6,537	253,886

[CLOVA Studio 운영자]

안녕하세요, @Axel님,

HyperCLOVA X에 많은 관심 가져주셔서 감사드립니다.

HyperCLOVA X SEED는 오픈소스 모델로, CLOVA Studio에서는 제공하고 있지 않습니다.

번거로우시더라도, 허깅페이스의 커뮤니티를 통해서 문의를 부탁드립니다.

https://huggingface.co/naver-hyperclovax/HyperCLOVAX-SEED-Vision-Instruct-3B/discussions

감사합니다.

[Axel]

답변감사합니다.

허깅페이스 쪽 커뮤니티에 문의를 하도록 하겠습니다.