正式开源的Kimi K3，成为全球首个达到3万亿参数级的开源模型，就在刚刚！

https://huggingface.co/moonshotai/Kimi-K3

https://github.com/MoonshotAI/Kimi-K3/tree/main

https://modelscope.cn/organization/moonshotai

Moonshot AI宣布，发布Kimi K3的模型权重、技术报告，并开源支撑Kimi K3模型训练的关键Infra技术：MoonEP、FlashKDA和AgentEnv。

能够在长逻辑链编程、复杂推理和超长上下文智能体协作上挑战最强闭源模型（Fable 5和GPT-5.6 Sol）的开源模型，全球首个正是K3；它同时还是原生多模态MoE巨兽，参数量高达2.8T！

这项里程碑式工作展现了中国AI团队雄厚的研发实力，也为开源社区真正带来了前沿级智能。

开放K3权重，3万亿参数级开源AI时代由此开启

Moonshot AI于2026年7月27日兑现承诺，正式向全球开源社区发布Kimi K3完整模型权重。

Kimi K3由此成为全球首个真正落地的3万亿参数级开源模型，也标志着开源大模型迈入2.8万亿参数的新纪元。

本次发布除模型权重外，也同步提供了相关报告与技术细节。

Moonshot称，其已同多家推理合作伙伴和开源维护者密切协作，以保证K3能够可靠运行于主流硬件及框架。

完整权重开放后，用于本地部署或二次开发的文件，开发者可以直接下载；超大规模MoE、新型注意力机制等前沿课题，研究机构能基于K3探索；专属的超长上下文知识系统和智能Agent集群，则可由企业构建。

新一轮应用浪潮即将在开源社区涌现！

参数规模：再度抬高能力天花板

过去一年中，Kimi系列几乎以每季度一次的节奏，刷新开源模型的参数和能力上限。

凭借2.8T参数，K3不仅跻身当前已知最大开源模型之列，也是首个真正迈进「3T 俱乐部」的模型。

从架构来看，K3相较前代K2取得了显著突破：

面向超长序列专门设计的KDA混合线性注意力机制；

用于增强深层模型训练稳定性的Attention Residuals；

仅从896个专家中激活16个，再结合Stable LatentMoE框架，MoE由此获得大幅优化：巨量参数得以保持，计算效率也被极大提高。

据官方数据，这些创新使K3整体扩展效率较K2约提升2.5倍，在「规模」和「可用性」之间实现了真正的平衡。

视觉编码器MoonViT-V2仅依赖后续token预测，且表征可直接依照语言建模目标调整；它完全从零开始训练，构成Kimi K3相较Kimi K2.5的主要区别。

MoonViT-V2在完整训练过程中始终保持稳定。

视觉评估结果值得关注：采用MoonViT-V2所得表现，足以达到SigLIP初始化基线模型的水平。

除原生具备多模态能力外，它还支持100万token超长上下文。

归根结底，架构创新和场景适配共同推动了K3的综合进化。

「前沿智能属于所有人」是官方技术博客强调的理念，而Kimi K3开源正是它的最新实践。

编程、前端开发、长上下文推理和代码Agent等场景中的突出表现，均见于Moonshot官方及第三方对Kimi K3的评测。

其综合智能水平已进入全球第一梯队，在开源阵营中保持领先，仅落后于少数顶尖闭源模型。

Kimi K3技术报告解读

与开源消息一同公布的，还有一份长达47页的技术报告。

技术报告的核心内容如下。

2.8万亿参数的开源「六边形战士」

Kimi K3证明，开源模型也能将Scaling与Reasoning推向极致。

Kimi K3核心底座的数据配置十分豪华：

惊人体量：总参数量达到2.88万亿，每个Token的激活参数量是1040亿。

百万级上下文：原生最高支持100万 Token规模的超长上下文窗口。

原生多模态：从预训练第一天开始，视觉与文本便相互交织，不存在任何后期「缝合」对齐环节。

推理期思考缩放（Test-Time Scaling）：面对复杂任务时，它会像人类那样「三思而后行」，并可选择Low、High、Max等多种Thinking Effort级别。

三项架构革新：扩展效率提高2.5倍

要训练一个3万亿参数级模型，绝不是简单增加GPU就能实现。

与上一代Kimi K2相比，Kimi K3的整体扩展效率实现了约2.5倍跃升。

这一提升源自兼具优雅与暴力特征的架构设计。

1.混合注意力机制：KDA + Gated MLA

处理百万级上下文时，传统Softmax注意力机制会让KV Cache内存占用迅速撑满显存；为解决这一问题，Kimi K3创新采用了混合架构——

由Kimi Delta Attention (KDA)构成的3层，加上1层 Gated MLA，共同组成每一个Block。

KDA（线性注意力）：它承担高效的长序列混合，把冗长上下文压缩至固定大小的循环状态，从根本上突破上下文长度带来的内存限制。

Gated MLA（全局注意力）：同时以周期方式保留极致的全局信息检索能力。

通过「3:1」组合，既维持长文本处理能力，也保留查找细节的本领。

2.注意力残差（Attention Residuals）

信息逐层传递时容易损耗，这是极深网络常见的问题。为此，Attention Residuals被Kimi K3引入，使当前层能直接「跨级」读取之前所有层的特征表示。模型由此仿佛拥有直达电梯，信息流转的拥堵随之消失。

3.稳如泰山的超稀疏 MoE (Stable LatentMoE)

Kimi K3的路由专家数量大幅增加至896个，每个Token会激活16个专家。为在极度稀疏、只有极少部分参数激活的状态下维持训练稳定，Kimi团队采用了两项关键技术。

SiTU-GLU激活函数激活值在极端规模下容易爆炸，这是传统SwiGLU的问题，而该方案将其完美解决。

Quantile Balancing（分位数负载均衡）通过放弃传统辅助损失函数、改用动态偏差调整方式，896个专家既不会闲置也不会过载，从而实现近乎完美的负载均衡。

K3炼成记：百万Token的Agent如何进化？

决定大模型实力的不只是预训练，还有「后训练/RL」。Kimi K3的强化学习专门面向「智能体拥有100万Token的超长视距」进行量身定制。

1.白盒沙盒训练达到极度复杂级别 (AgentENV)

Kimi K3不再在简单问答中训练，而是进入真实模拟器；月之暗面为此开发了基于微型虚拟机（microVM）的沙盒。AgentENV。

写代码、截图、查Bug以及自我修正，会在成百上千个步骤中由Kimi K3逐项完成。模拟的Slack、Notion、Gmail环境还让它化身人类员工，承担跨越「虚拟数天」的超长待机任务。

2.由知识图谱引导的任务合成

研发团队为拓宽模型见识，建立了一个可自我进化的知识图谱，由爬虫智能体自动从全网抓取并合成从天体物理到前端开发的各类高难度验证任务，用来「折磨」K3。

3.多层思考蒸馏 (MOPD)

通用、智能体、代码三大领域的专家模型由Kimi K3进行交叉训练；强化学习则覆盖低、高、极限三个「思考努力」级别。

这些强大能力最终被汇聚到一个统一模型，所采用的方法是多教师在策略蒸馏（Multi-Teacher On-Policy Distillation）。

将算力与基础设施压榨到极限

2.8T参数与1M上下文不只考验算法，也对系统工程提出了史诗级挑战。

一份令人惊艳的答卷，来自Kimi Infra团队。

MoonEP（实现零浪费的专家并行）：算力不均在MoE训练中属于常态。通过在线整数线性规划和「零拷贝」通信的精妙配合，MoonEP让算力分配既完全动态，又达到绝对平衡。

KDA融合Prefix Cache：团队为混合架构改写了底层推理引擎，使同一个内存池可以共享、复用KDA的循环状态与MLA的KV Cache。由此，若请求含有数十万字的相同前缀，K3处理时的响应速度将呈指数级提升。

实测成绩：接近乃至超过人类极客

在报告展示的全面评测中，Kimi K3在各项公开与内部基准测试中，全面超越了Claude Opus 4.8、GLM-5.2 和 GPT-5.5，并逼近目前最强的Claude Fable 5 和 GPT-5.6 Sol。

面对真实极客任务，Kimi K3展现出了惊人的表现。

Linux内核Zero-Day漏洞的找出（网络安全测试）

网络安全评估的难度极高：面对已知漏洞，Kimi K3能够编写Exploit（漏洞利用程序）；面对最新Linux内核代码，它更独立找出了多个此前未知的零日漏洞（Zero-Day）！

人类安全专家已经验证这些发现，其中一个是本地提权漏洞，另一个是远程触发的堆越界写入。

深度改造GPU编译器

一个包含完整代码生成管线的GPU编译器MiniTriton，由Kimi K3独立开发。在KDA、DSA等极高难度的大核算子优化任务中，其运行时间被缩短70%以上，已逼近硬件的理论极限。

一颗芯片（Nano-KPU）的设计，限时48小时

这项早期概念验证把K3置于沙盒中，限定48小时。它借助开源EDA工具完全自主作业，从零完成一颗基于45nm工艺的AI推理芯片的设计、优化与验证，最后成功实现时序闭合！

代替科研人员完成工作

K3为了复现天体物理学中的某个普遍关系，自主阅读论文20多篇，并以超过3000行Python代码构建完整数值管道；它还发现已发表论文公式存在矛盾点，进而生成可交互的数据面板。这些工作人类需要一到两周，K3在两个小时便完成了。

做到极致的性价比

性能能够比肩最强闭源模型，推理成本又如何？

Kimi K3极其恐怖的性价比，来自系统底层的疯狂优化，以及投机解码（Draft Model）和量化感知训练（MXFP4权重/MXFP8激活）。

在第三方平台Artificial Analysis的统计中，Kimi K3在保持第一梯队性能的同时，在BrowseComp基准上单次任务的成本仅为GPT-5.6 Sol的一半，甚至比Claude Fable5便宜了近乎一个数量级！

硅谷集体表态：支持开源！

反对美国政府阻断美国企业获取开源大模型渠道，成为近200家硅谷创始人最近联合表达的立场。

老黄人生中的第一推，就在本周末发布于X；与此同时，25家企业以联合署名说明了开源为什么重要。

英伟达、微软、Meta、IBM、a16z、YC等等均在这25家名单之中，阵容几乎占据硅谷半壁江山。

毫无疑问，在这一风口浪尖上，K3全面开源具有更加重大的意义。

全球第一的位置，今日仍由Kimi K3占据于Arena.ai榜单

以开源之光照亮前沿智能

面对闭源巨头，国产开源路线同样提供了一次弯道超车的机会。

可以预见，K3权重全面开放后，社区优化版本、本地部署方案及垂直应用将大量涌现。

闭源巨头的垄断，曾因Llama开源而被Meta一举打破；全球开源AI社区的热情由此被彻底点燃，无数衍生模型与应用也随之诞生。

如今，中国开源AI正以K3为代表崛起，或许会彻底重塑全球大模型的游戏规则。

爆料称，周五Kimi团队在一家酒吧举行庆功活动，并包下多个卡座，月之暗面联合创始人、总裁也疑似现身。活动现场的大屏上写着「K3，扩容升级」「K4，给我狠狠干到极致」「冲上月球」。

Kimi K 3.1将于下月发布的消息传出时，距离Kimi K3开放权重仅有几小时。

「Kimi K3虽然整体表现仍略逊于最强闭源模型，却已稳稳划定开源领域的全新边界。」

Kimi K3横空出世，击破了「百万级Agent和慢思考只有闭源巨头才能玩转」的偏见。

开源AI的星辰大海才刚刚启程，而代码、权重与技术细节，正在被毫无保留地开放。

参考资料：

https://huggingface.co/moonshotai/Kimi-K3

https://github.com/MoonshotAI/Kimi-K3/tree/main

https://modelscope.cn/organization/moonshotai