Nvidia 和 Microsoft 合作通过 GPU 支持增强 Copilot+

当 Microsoft 推出 Copilot+ PC 时,一个紧迫的问题出现了:为什么这些 AI 应用程序不能直接在 GPU 上运行?Nvidia 在 2024 年台北国际电脑展上给出了答案,宣布与 Microsoft 合作开发应用程序编程接口 (API),使开发人员能够在 RTX 显卡上运行 AI 加速应用程序。

关键发展

  1. 用于 GPU 利用的新 API:Nvidia 和 Microsoft 正在创建一个 API,允许 AI 应用程序(包括 Copilot 功能(如 Recall 和 Live Captions)中使用的小型语言模型 (SLM))在 GPU 上运行。这一发展意味着这些应用程序可以利用 GPU 的卓越 AI 处理能力,而不受神经处理单元 (NPU) 的限制。
  2. 增强的 AI 功能:GPU 通常比 NPU 具有更高的 AI 处理能力。例如,虽然 Copilot+ PC 需要每秒至少 40 万亿次运算 (TOPS) 的 NPU,但即使是低端 GPU 也能达到 100 TOPS,高端型号甚至能提供更多。
  3. 更广泛的硬件兼容性:此 API 将 Copilot+ 功能开放给更广泛的 PC,包括那些没有特定 NPU 要求的 PC。此举可以显著扩展消费设备上 AI 应用程序的可用性和功能。

检索增强生成 (RAG)

新 API 还将检索增强生成 (RAG) 功能引入 Copilot 运行时。RAG 使 AI 模型能够访问特定的本地信息,从而提供更准确、更有用的响应。Nvidia 在今年早些时候通过 Chat with RTX 展示了 RAG 功能,展示了这项技术的潜力。

Nvidia 的 RTX AI 工具包

除了 API 之外,Nvidia 还在 Computex 上宣布了 RTX AI 工具包。该工具包于 6 月推出,包括各种工具和 SDK,旨在帮助开发人员针对特定应用优化 AI 模型。据 Nvidia 称,与开源解决方案相比,RTX AI 工具包可以使 AI 模型的速度提高四倍,体积缩小三倍。

未来前景

Nvidia 和微软的合作标志着 AI 应用程序开发和部署向前迈出了重要一步。借助新的 API 和 RTX AI 工具包等工具,开发人员可以创建更强大、更高效的 AI 应用程序。随着这些工具越来越普及,我们可以预计到明年,利用现代 GPU 的强大硬件功能,AI 应用程序将激增。

通过解决硬件-软件协同问题,Nvidia 和微软正在为 AI 驱动应用程序的新时代铺平道路,使高级 AI 功能更易于访问和实用,可供更广泛的用户使用。