就在刚刚，网上已经出现了一波复现DeepSeek的狂潮。 UC伯克利、港科大、HuggingFace等纷纷成功复现，只用强化学习，没有监督微调，30美元就能见证！ 全球AI大模型，或许正在进入下一分水岭。

　　这些天，硅谷彻底处于中国公司带来的大地震余波中。

　　全美都在恐慌：是否全球人工智能的中心已经转移到了中国？

　　就在这当口，全球复现DeepSeek的一波狂潮也来了。

　　诚如LeCun所言：

　　在没有顶级芯片的情况下，以极低成本芯片训出突破性模型的DeepSeek，或将威胁到美国的AI霸权。 大模型比拼的不再是动辄千万亿美元的算力战。 OpenAI、Meta、谷歌这些大公司引以为傲的技术优势和高估值将会瓦解，英伟达的股价将开始动摇。

　　种种这些观点和讨论，让人不禁怀疑：数百亿美元支出，对这个行业真的必要吗？甚至有人说，中国量化基金的一群天才，将导致纳斯达克崩盘。

　　从此，大模型时代很可能会进入一个分水岭：超强性能的模型不再独属于算力巨头，而是属于每个人。

　　30美金，就能看到时刻

　　来自UC伯克利博士生潘家怡和另两位研究人员，在CountDown游戏中复现了DeepSeek R1-Zero。

　　他们表示，结果相当出色！

　　实验中，团队验证了通过强化学习RL，3B的基础语言模型也能够自我验证和。

　　更令人兴奋的是，成本不到30美金，就可以亲眼见证时刻。

　　这个项目叫做TinyZero，采用了R1-Zero算法——给定一个基础语言模型、提示和真实奖励信号，运行强化学习。

　　然后，团队将其应用在CountDown游戏中。

　　模型从最初的简单输出开始，逐步进化出自我纠正和的策略。

　　在以下示例中，模型提出了解决方案，自我验证，并反复纠正，直到解决问题为止。

　　在消融实验中，研究人员运行了Qwen-2.5-Base。

　　结果发现，0.5B模型仅仅是猜测一个解决方案然后停止。而从1.5B开始，模型学会了、自我验证和修正其解决方案，从而能够获得更高的分数。

　　他们认为，在这个过程，基础模型的是性能的关键。

　　他们还验证了，额外的指令微调并非是必要的，这也印证了R1-Zero的设计决策。

　　这是首个验证LLM推理能力的实现可以纯粹通过RL，无需监督微调的开源研究

　　基础模型和指令模型两者区别：

　　指令模型运行速度快，但最终表现与基础模型相当

　　指令输出的模型更具结构性和可读性

　　此外，他们还发现，具体的RL算法并不重要。PPO、GRPO、PRIME这些算法中，长思维链都能够涌现，且带来不错的性能表现。

　　而且，模型在推理行为中非常依赖于具体的任务：

　　对于Countdow任务，模型学习进行和自我验证

　　对于数字乘法任务，模型反而学习使用分布规则分解问题，并逐步解决

　　苹果机器学习科学家Yizhe Zhang对此表示，太酷了，小到1.5B的模型，也能通过RL涌现出自我验证的能力。

　　7B模型复刻，结果令人惊讶

　　港科大助理教授何俊贤的团队，只用了8K个样本，就在7B模型上复刻出了DeepSeek-R1-Zero和DeepSeek-R1的训练。

　　结果令人惊喜——模型在复杂的数学推理上取得了十分强劲结果。

　　他们以Qwen2.5-Math-7B为起点，直接对其进行强化学习。

　　整个过程中，没有进行监督微调，也没有使用奖励模型。

　　在这两种方法中，团队都只使用了相同的8K MATH样本，仅此而已。

　　大概在第44步的时候，出现了！模型的响应中，出现了自我反思。

　　并且，在这个过程中，模型还显现了更长的CoT推理能力和自我反思能力。

　　在博客中，研究者详细剖析了实验设置，以及在这个强化学习训练过程中所观察到的现象，例如长链式思考和自我反思机制的自发形成。

　　与DeepSeek R1类似，研究者的强化学习方案极其简单，没有使用奖励模型或MCTS类技术。

　　他们使用的是PPO算法，并采用基于规则的奖励函数，根据生成输出的格式和正确性分配奖励：

　　如果输出以指定格式提供最终答案且正确，获得+1的奖励

　　如果输出提供最终答案但不正确，奖励设为-0.5

　　如果输出未能提供最终答案，奖励设为-1

　　该实现基于OpenRLHF。初步试验表明，这个奖励函数有助于策略模型快速收敛，产生符合期望格式的输出。

　　第一部分：SimpleRL-Zero

　　接下来，研究者为我们分享了训练过程动态分析和一些有趣的涌现模式。

　　如下所示，所有基准测试的准确率在训练过程中都在稳步提高，而输出长度则呈现先减少后逐渐增加的趋势。

　　经过进一步调查，研究者发现，Qwen2.5-Math-7B基础模型在初始阶段倾向于生成大量代码，这可能源于模型原始训练数据的分布特征。

　　输出长度的首次下降，是因为强化学习训练逐渐消除了这种代码生成模式，转而学会使用自然语言进行推理。

　　随后，生成长度开始再次增加，此时出现了自我反思机制。

　　基准测试准确率和输出长度

　　在训练到第 40 步左右时，研究者观察到：模型开始形成自我反思模式，这正是DeepSeek-R1论文中所描述的。

　　第二部分：SimpleRL

　　如前所述，研究者在进行强化学习之前，先进行了long CoT SFT预热，使用了8,000个从QwQ-32B-Preview中提取的MATH示例响应作为SFT数据集。

　　这种冷启动的潜在优势在于：模型在开始强化学习时已具备long CoT思维模式和自我反思能力，从而可能在强化学习阶段实现更快更好的学习效果。

　　基准测试准确率和输出长度

　　有趣的是，尽管研究者先进行了long CoT SFT，但在强化学习初期仍然观察到输出长度减少的现象。

　　他们推测，这可能是因为从QwQ提取的推理模式不适合小型策略模型，或超出了其能力范围。

　　因此，模型选择放弃这种模式，转而自主发展新的长链式推理方式。

　　最后，研究者用达芬奇的一句话，对这项研究做了总结——

　　简约，便是最终极的精致。

　　复刻完成后，所有的训练数据、训练脚本等等，将全部开源。

　　这个项目叫做Open R1，当前还在进行中。发布到一天，星标冲破1.9k，斩获142个fork。

　　研究团队以DeepSeek-R1技术报告为指导，将整个复刻过程划分为三个关键步骤。

　　步骤 2：复现DeepSeek用于创建R1-Zero的纯强化学习流程。这可能需要为数学、推理和代码任务策划新的大规模数据集。

　　步骤 3：展示我们如何通过多阶段训练，从基础模型发展到经过RL调优的模型。

　　从斯坦福到MIT，R1成为首选

　　一个副业项目，让全世界科技大厂为之惶恐。

　　DeepSeek这波成功，也成为业界的神话，这款应用已经在 Store应用榜单中挤进前三。

　　(编者注：1月27日，Deepseek应用登顶苹果中国地区和美国地区应用商店免费下载排行榜，在美区下载榜上超越了ChatGPT。此外，据苹果 Store中国区免费榜，Deepseek成为中国区第一

　　在Hugging Face中，R1下载量直接登顶，另外3个模型也霸占着热榜。

　　a16z合伙人Anjney Midha称，一夜之间，从斯坦福到MIT，DeepSeek R1已经成为美国顶尖高校研究人员。