Jetson AGX Orin平台于 3 月底推出。根据 NVIDIA 的说法，这是使用现代 AI 解决方案的机器人和自动驾驶汽车的最佳紧凑、经济高效且性能非常好的解决方案。该公司有充分的理由这样做。

该平台的核心是一个 7nm 芯片（170 亿个晶体管），其中包括 12 个 Arm Cortex-A78AE 内核，专为需要更高可靠性的应用而设计。GPU部分由2048个安培核心和64个张量核心代表。在完整版中，这种芯片在 INT8 计算上开发了 275 TOPS，CPU 频率为 2.2 GHz，GPU 频率为 1.3 GHz，但 NVIDIA 提供了几种基于新架构的解决方案。

旧版本的速度比Jetson AGX Xavier快 5 倍，能效提高 2 倍——该公司将 AGX Orin 的测试结果带到 MLPerf Inference V2.0 中，新平台轻松应对其前身，也几乎没有机会适用于 Qualcomm 捆绑包 Snapdragon 865 和Cloud AI 100 (DM.2)。然而，在其他一些测试中，与NVIDIA A100相比，较旧的服务器版本的加速器仍然更节能。

此外，NVIDIA还公布了A30加速器的测试结果。该公司特别强调了几点。因此，A100 在 Arm 和 x86-64 平台上的性能几乎相同——将软件移植到 Arm 的三年努力并没有白费。更重要的是，仅优化软件一项在过去一年中就增长了高达 50%。同时，英伟达宣布，现在Triton推理平台只能在 CPU 上运行，不需要强制存在 GPU。

此外，NVIDIA 与 Microsoft 一起表明，A100 在Azure实例中的性能与使用裸机硬件可以获得的性能略有不同。最后，该公司展示了多实例 GPU (MIG) 的性能——当使用所有七个实例时，每个实例的性能约为仅使用一个实例时可用性能的 98%。

不幸的是，MLPerf 套件本身仍然主要专注于 NVIDIA 硬件解决方案——在新系列的测试中，其他主要参与者的结果很少，尽管总共进行了 3900 多次测量，其中 2200 次还包括功耗数据。同样的高通没有在所有学科都有表现，谷歌实际上拒绝参加这一轮。