안녕하세요.
CLOVA STUDIO TEAM.
다름이 아니고, 4월 23일 HypperCLOVA X SEED 게시글을 확인하여서
SEED 모델의 0.5 B / 1.5 B / 3 B 3가지 모델에 대해서 알게되었습니다.
다름이 아니라,
해당 게시글 (https://clova.ai/tech-blog/ai-생태계에-씨앗을-뿌리다-상업용-오픈소스-ai-hyperclova-x-seed)
에서,
라는 설명과 함께, 0.5 B 모델의 A100 GPPU Hours / cost 정보가 산출되어있었습니다.
이때, 사용한 학습 데이터에 대한 정보는 찾을 수 없었는데요.
어떤 데이터셋을, 총 토큰수는 몇 토큰이며, 원본 용량은 어느정도인 것을 기준으로 해당 table이 산출되는 것인지 알고 싶습니다.
게시가 된지 시간이 좀 지났는데, 해당 관련딘 정보와 tech report를 제가 찾을 수 가 없어서 문의 글을 올립니다.
감사합니다.
※ 해당 게시글에 반영된 비용 정보.
학습 비용 (pre-training)
HyperCLOVA X SEED 0.5B
QWEN2.5-0.5B
A100 GPU hours
4,358
169,257
Cost (USD)
6,537
253,886
