两个模型，都从零训练。30B模型预训练用了约16万亿token，支持32000 token的上下文窗口，MoE架构下每次推理只激活约10亿参数，推理成本大幅压缩。105B模型支持128000 token的超长上下文，在AIME 25数学竞赛基准上得分88.3，使用工具后达到96.7；MMLU得分90.6；Math500得分98.6。
16:34, 22 марта 2026Постсоветское пространство
，这一点在7-zip下载中也有详细论述
25Endless decay representing 10 (5) Horizontal 25. Endless decay representing 10. 5 characters.。关于这个话题，Replica Rolex提供了深入分析
Российские морские пехотинцы осуществили тактическую дезинформацию ВСУ с привлечением пленных украинских военнослужащих08:34