#BestBlogs Kimi 硬刚多模态满血版 o1，首曝训练细节！强化学习 scaling 新范式诞生 | 新智元

Kimi 发布了 k1.5 多模态思考模型，首次在数学和代码能力上达到 OpenAI o1 满血版水平，并通过创新的强化学习 scaling 技术，展示了其在多模态推理领域的领先地位。        

摘要：        
Kimi 发布了 k1.5 多模态思考模型，这是继去年 11 月和 12 月发布的 k0-math 和 k1 模型之后的又一次重大升级。k1.5 在数学、代码和多模态推理能力上达到了 OpenAI o1 满血版的水平，成为全球范围内首个在 Long CoT 模式下达到这一水平的非 OpenAI 模型。

Kimi 团队通过创新的强化学习 scaling 技术，如长上下文扩展、改进的策略优化、简化框架和多模态处理，显著提升了模型的性能。此外，Kimi 还公开了训练技术细节，包括模型合并、最短筛选采样、DPO 和 long2short 强化学习等关键技术。这些创新不仅提高了模型的推理能力，还优化了资源使用效率，展示了 Kimi 在多模态推理领域的领先地位。未来，Kimi 将继续迭代出能够在更多模态、更多领域、具备更强通用能力的 Kn 系列模型。

主要内容:
1. Kimi k1.5 在数学和代码能力上达到 OpenAI o1 满血版水平 -- 这是全球范围内首次有非 OpenAI 模型在 Long CoT 模式下达到这一水平，展示了 Kimi 在多模态推理领域的领先地位。

2. 创新的强化学习 scaling 技术 -- Kimi 团队通过长上下文扩展、改进的策略优化、简化框架和多模态处理等技术，显著提升了模型的性能，特别是在长距离推理和复杂问题解决方面。

3. 模型合并与最短筛选采样 -- 通过将长 CoT 模型和短 CoT 模型进行合并，Kimi 提高了模型的泛化性和 Token 使用效率。最短筛选采样方法则进一步优化了模型的响应长度和准确性。

4. 部分回滚技术优化资源分配 -- 部分回滚技术通过同时管理长轨迹和短轨迹的回滚，有效解决了处理长 CoT 特性时的资源分配和效率挑战，显著降低了计算开销。

5. 训练与推理的混合部署策略 -- Kimi 提出了一种混合部署策略，利用 Kubernetes 的 Sidecar 容器共享所有可用 GPU，实现了训练和推理任务的高效协同部署，进一步优化了资源使用效率。

文章链接：
#BestBlogs