端侧AI推理，高效部署PyTorch模型：官方新工具开源，Meta已经用上了

在 2023 年 PyTorch 大会上，一个深受大家关心的推理问题得到了很好的解决，会上宣布了一个用于在边缘和移动设备上实现 AI 推理的解决方案：ExecuTorch，并且还是开源的，而促成这一研究的，正是 Meta AI 与 PyTorch 基金会。

ExecuTorch 地址：https://github.com/pytorch/executorch

学习文档：https://pytorch.org/executorch/stable/index.html

随着 ExecuTorch 的开源，预示着 AI 应用程序在设备上本地运行、而需连接到服务器或云成为可能。我们可以将 ExecuTorch 理解成一个 PyTorch 平台，其能提供基础设施来运行 PyTorch 程序，从 AR/VR 可穿戴设备到标准的 iOS 和 Android 设备的移动部署。

ExecuTorch 最大优势是可移植性，能够在移动和嵌入式设备上运行。不仅如此，ExecuTorch 还可以提高开发人员的工作效率。

据了解，Meta 已经验证了这项技术，并将其用于最新一代的雷朋智能眼镜，而这款眼镜也是 Meta 最近发布的 Quest 3 VR 头显的一部分。Meta 表示，作为开源 PyTorch 项目的一部分，他们旨在进一步推动该技术的研究，从而迈入在设备上实现 AI 推理的新时代。

Facebook 创始人、Meta 董事长兼首席执行官扎克伯格表示：「作为开源 AI 工作的一部分，我们与 PyTorch 基金会及其行业合作伙伴一起开源了 ExecuTorch。这一变化预示着将 PyTorch 引入了手机和可穿戴设备等边缘计算平台。ExecuTorch 使 AI 模型能够直接在设备上运行，而无需连接到服务器。」

Meta 软件工程师 Mergen Nachin 指出，「今天的 AI 模型正在从服务器扩展到边缘设备，如移动设备、AR、VR 和 AR 头显、可穿戴设备、嵌入式系统等。ExecuTorch 通过提供端到端的工作流来优化本地程序，从而解决边缘设备遇到的挑战。」

ExecuTorch 关键组件

ExecuTorch 提供了紧凑的运行时和轻量级操作注册表，以覆盖 PyTorch 模型生态系统，以及在边缘设备上执行 PyTorch 程序的简化路径。此外，ExecuTorch 还附带 SDK 和工具链，为 ML 开发人员提供了更好的用户体验。

作为 PyTorch Edge 生态系统的一部分，ExecuTorch 可以有效地将 PyTorch 模型部署到边缘设备。ExecuTorch 的优点包括：

• 可移植性：与各种计算平台兼容，从高端移动手机到高度受限的嵌入式系统和微控制器。

• 提高生产力：开发人员能够使用相同的工具链和 SDK，从而提高生产力。

• 提高性能：由于轻量级运行时和充分利用 CPU、NPU 和 DSP 等硬件功能，为最终用户提供了无缝和高性能的体验。

由于 ExecuTorch 严重依赖 PyTorch 相关知识，因而，想要熟练掌握 ExecuTorch，还需提前补充相关知识。官方文档已经提供了入门级教程。例如，在构建 ExecuTorch Android 演示应用程序示例当中，大家可以跟随指导教程，从而熟悉如何使用 ExecuTorch。

最后，需要提醒大家的一点是，本次发布的 ExecuTorch 是一个预览版本，在测试和评估中可以使用，但是不建议在生产环境中使用。PyTorch 团队欢迎来自社区的任何反馈、建议和错误报告，以帮助他们改进技术。

参考链接：

https://venturebeat.com/ai/pytorch-executorch-extends-open-source-ai-for-new-quests-at-the-edge/