当前位置:主页 > 聚焦 > 正文

Sapient开源层级推理架构HRMText,1000美元一天训出1B模型

发布时间:2026-05-19 已有: 位 网友关注

  币界网消息,Sapient Intelligence开源了10亿参数的文本生成基础模型HRM-Text。这是一款基于层级推理模型架构的纯预训练模型,通过在架构底层引入潜在空间推理,将基础模型预训练的算力消耗缩减了130至600倍。具体而言,HRM-Text仅使用400亿个结构化token完成预训练,数据量约为同级别常规模型的千分之一。官方实测显示,使用两台8卡H100服务器,耗时约46小时即可从零训完1B版本,计算成本约1472美元而0.6B版本只需单节点跑50小时,硬件成本约800美元。完整工程框架已同步开源,支持数据提取、序列打包与PyTorch分布式训练。

温馨提示:所有理财类资讯内容仅供参考,不作为投资依据。