联合作者：Arm 首席解决方案架构师 沈纶铭；Arm 开发者生态解决方案架构师 Jackie Lee

随着越来越多的开源人工智能 (AI) 模型接近现实世界的普及，开发者正在改变他们评估边缘部署的方式。问题不再只是模型是否能运行，而是它是否能在具体平台上被稳定复现的部署，并基于实际技术数据转化为有意义的部署决策。

对于开发者来说，此芯科技基于 Armv9 架构的个人计算平台提供了一个实用的环境，方便动手实验和可重复部署。通过开源工具链和以实施为导向的 Learning Path，开发者可以将国内开源模型生态系统中涌现的 AI 工作负载带入 Armv9 计算平台。他们随后可以评估边缘 AI 采用中最重要的问题，如内存大小、模型选择，以及不同场景下性能与部署需求之间的权衡。

本文将介绍两种 Learning Path，使用专家混合 (MoE) 大语言模型 (LLM) 和多模态推理作为两个互补的例子。它们共同展示了部署、观察和优化如何逐步将模型实验转化为更具体的边缘部署评估。

边缘 AI 的评估为何不能止步于模型运行

在当前的 AI 浪潮中，各种计算平台叙事常以一个熟悉的说法开头：模型已在特定设备上成功运行。这个结果有价值，但对于评估边缘部署的开发者来说，它只回答了表面的问题。

一旦评估进入真实部署环境，问题就变得更加复杂。模型需要多少内存？部署流程是否稳定且可复现？系统资源在推理过程中是否保持在可接受范围内？该模型适合目标用例吗？如果我们只知道模型产生过一次输出，那么大多数问题仍未得到解答。

对于边缘 AI 来说，真正的价值不在于一次成功的运行，而在于是否能够建立可重复的技术路径。开发者应能够反复部署、观察和比较，从而更清晰地理解平台特性、模型行为和场景需求之间的关系。只有这样，计算平台才不仅仅是运行 AI 模型的工具。它成为一个基于技术证据支持部署决策的平台。

这就是为什么本文不是针对一个单独的演示。相反，它侧重于一个实际过程：从部署开始，通过观察来建立理解。然后，利用这些观察来确定边缘部署需求的优化方向。

部署评估的实用起点

对于开发者来说，有价值的平台不仅仅是在纸面数据上看起来很有能力的，而是哪个平台能帮助你快速开始，可靠地重现工作流程，并在评估过程中生成有用的观察。除了硬件规格外，其价值还取决于是否适合构建该基线。开发者可以使用熟悉的 Linux 环境和开源工具链，直接在板上部署模型。他们可以验证模型是否稳定运行，确认工作流程是否可重复，并观察资源使用是否保持在合理范围内。这有助于他们识别可能影响未来优化和情景拟合的因素。

这在边缘 AI 项目中尤为重要。在许多情况下，项目早期阶段并非追求最高性能表现。而是为了建立一个可信的起点。该模型能否被部署？工作流程能否保持稳定？内存足够吗？这种配置是否符合预期的使用场景？在 Armv9 计算平台上探讨这些问题，有助于开发者在项目后期做出更好的优化和模型选择。

当部署流程建立在开源工具上时，开发者可以不仅限于将模型运行到封闭系统中等待结果，他们可以检查模型的加载方式、执行方式、值得关注的运行时特性，以及哪些瓶颈可能在后续部署阶段变得相关。

在此背景下，此芯科技基于 Armv9 架构的平台不仅仅是一个运行 AI 工作负载的系统，还是一个用于部署评估的实用环境。更重要的是，在开发板上建立的部署和观察方法也可为其他基于 Arm 架构的边缘平台提供研究启示。这不止于赋予平台单次验证操作的价值，还帮助开发者构建更具可重复性和可扩展性的评估方法。

从 MoE 部署开始：观察 Armv9 计算平台上的

大模型行为与优化方向

随着生成式 AI 的不断发展，MoE 正成为一个特别值得关注的重要模型架构。其采用专家路线；模型不再激活每个推理步骤的所有参数，而是根据输入动态选择专家子集。这使得 MoE 模型能够支持更大的模型容量，而无需在每个推断步骤激活所有参数，同时还能显示出特别值得观察的运行时特性。

对开发者来说，这不仅仅是架构上的区别。它直接影响部署过程中如何理解资源使用、推理行为和平台适配性。这就是为什么 MoE 模型为研究现代大模型如何落在 Armv9 计算平台上提供了有用的起点。

开发者不仅关注最终输出，还能观察执行过程中的路由行为，并理解这些行为如何影响推理特性。这些观察支持部署评估，帮助开发者评估内存需求、比较模型选项，并判断平台是否满足部署需求。

以百度 ERNIE 4.5 为例，开发者可以按照相应的 Learning Path 在此芯科技基于 Armv9 架构的平台上部署此类 MoE 模型，并利用开源工具链观察重要的执行特性。这个实践的价值不单是证明模型是否可运行。它帮助开发者更深入地理解当这类大模型被引入 Armv9 计算平台时应观察的参数。他们可识别可能为后续优化决策提供参考的模式，并评估模型是否适合特定的边缘场景。

Learning Path 链接：https://learn.arm.com/learning-paths/cross-platform/ernie_moe_v9/

从多模态推理开始：在 Armv9 计算平台上

构建可重复的工作流和部署路径

对于边缘设备，多模态推理的价值在于它更贴近信息在现实世界中的表现。许多实际应用并不依赖于单一的数据类型。它们涉及文本、图像、音频，或将多个来源的信号整合进更完整的决策过程。因此，多模态模型在边缘 AI 中变得越来越重要。它们扩展模型能力，帮助开发者评估更接近真实部署需求的需求。

对开发者来说，多模态推理的挑战不仅仅是模型能否执行。关键在于整个工作流程是否可以在一个具体的平台上构建、复现、理解和调整。一旦模型必须同时处理多种输入类型，部署流程、推理路径和系统资源之间的关系就变得更加重要，且值得观察。这使得多模态工作负载在边缘 AI 评估中尤为有用，因为它们反映了平台在更真实应用条件下的可行性。

以全模态 (Omni) 模型为例，开发者可以按照相应的 Learning Path 在此芯科技基于 Armv9 架构的平台上部署和验证多模态推理工作流。目标不仅仅是展示现代模型可以在 Armv9 计算平台上部署和观测，而且构建一个可重复的多模态工作流程，让开发者能够理解、复现并不断完善。

通过这条 Learning Path，开发者不仅仅是验证模型是否成功运行。他们可以逐步建立实用的部署路径，了解工作流程是否稳定，评估资源分配是否合理，并判断流程是否适合扩展到实际的边缘侧应用场景。在此语境下，多模态推断不仅仅是一个特征演示，而且成为部署评估的一部分。

Learning Path 链接：https://learn.arm.com/learning-paths/cross-platform/multimodel_mnn_v9/

优化的真正意义：从技术指标转向部署决策

在许多技术讨论中，优化通常以吞吐量、延迟或执行速度来衡量。然而，在边缘 AI 中，优化不仅仅是推动数字上的提升。关键在于平衡平台能力、模型需求和目标用例的需求。

对开发者来说，这种区分非常重要。在实际项目中，问题往往不是“如何最大化AI性能表现？”，而是“在给定的平台约束条件下，我们如何做出最合适的部署选择？”这包含评估内存大小是否足够、模型大小是否合适、工作流程是否过于复杂，或特定模型方法是否真正符合预期用例。

这就是为什么本文将部署、观察和优化视为相互关联的意义。开发者首先需要部署模型并观察系统的行为。这些观察有助于识别有意义的优化机会。此时，优化不再仅由基准驱动，而是作为部署决策的一部分。

从这个角度看，此芯科技基于 Armv9 架构的平台的价值在于支持这一过程。它提供的不仅仅是运行 AI 工作负载的能力。它提供了一个环境，让开发者可以测试想法、排除不合适的选项，并比较不同的部署组合。当该过程可重复时，开发者能够更好地理解平台、模型和场景之间的关系，并趋向合适的边缘部署策略。

对开发者社区的重要性

对于开发者社区来说，这两条 Learning Path 的价值不仅限于它们的技术内容，而且提供了可使开发者理解、复用和复制的实用路径。

这两条 Learning Path 都建立在开源工具链和可重复的工作流程之上。它们不仅仅是值得阅读的范例，开发者还可自行验证、比较和扩展这些方法。对于开发者社区来说，这种可重复性非常重要，因为它使开发者能够重复工作、验证结果并在此基础上进行改进。

这些 Learning Path 还展示了来自国内开源模型生态系统的 AI 工作负载，可以在此芯科技基于 Armv9 架构的平台上通过开源工具链部署、观察和优化。目标是展示当今模型生态系统的多样性，以及如何在一个具体平台上评估不同的模型方法。

对于开发者社区来说，这一价值显而易见。部署模型的方法变得更容易，将内存需求和场景适应性归入同一评估框架也更容易，讨论也更容易超越模型能力或硬件规格。这会带来更实用、更可操作的技术讨论。

结论：从模型验证到边缘部署评估

这两条 Learning Path 共同提供了评估 Armv9 架构上 AI 工作负载的实用方法。开发者可以从开源模型开始，使用开源工具链构建更贴近实际部署需求的评估方法。

通过部署、观察和优化的循环，开发者可以超越单纯地问模型是否运行。他们能够理解模型行为，建立可重复的工作流程，并利用真实观察评估内存容量、模型选择和目标用例之间的权衡。

此芯科技基于 Armv9 架构的平台使开发者能够进行试验、验证和比较。对于将现代 AI 工作负载拓展至边缘侧的开发者来说，这有助于将模型实验与部署决策连接起来。它还有助于确保部署决策基于真实应用需求。

如果你想超越基准测试，探索部署，欢迎深入了解本文讨论的部署流程、观察方法和实现细节，你可以继续学习 ERNIE 4.5 MoE Learning Path 和 Omni 多模态 Learning Path，并通过实践将其从模型实验扩展到边缘部署评估。