ONNX简介

Open Neural Network Exchange（ONNX，开放神经网络交换）格式，是一个用于表示深度学习模型的标准，可使模型在不同框架之间进行转移（一般用于中间部署阶段）。
目前官方支持加载ONNX模型并进行推理的深度学习框架有： Caffe2, PyTorch, MXNet，ML.NET，TensorRT 和 Microsoft CNTK，并且 TensorFlow 也非官方的支持ONNX。

ONNX Runtime简介

ONNX Runtime是将 ONNX 模型部署到生产环境的跨平台高性能运行引擎。
适用于 Linux、Windows 和 Mac。编写C++，它还具有 C、Python 和C# api。 ONNX 运行时为所有 ONNX 规范提供支持，并与不同硬件（如 TensorRT 上的 NVidia Gpu）上的加速器集成

TRTIS镜像与各软件版本关系矩阵

container images NVIDIA TensorRT Inference Server TensorFlow Caffe2 ONNX Runtime PyTorch
19.03 1.0.0 1.13.1 0.8.2 - -
19.04 1.1.0 1.13.1 0.8.2 - -
19.05 1.2.0 1.13.1 0.8.2 - -
19.06 1.3.0 1.13.1 0.8.2 0.4.0 -
19.07 1.4.0 1.14.0 0.8.2 0.4.0 -
19.08 1.5.0 1.14.0 - 0.4.0 1.2.0a0
19.09 1.6.0 1.14.0 - 0.4.0 1.2.0
19.10 1.7.0 1.14.0 - 0.4.0 1.3.0

ONNX Runtime与ONNX版本关系矩阵

ONNX Runtime 发行版本 ONNX发布版本 ONNX opset版本 ONNX ML opset版本 支持的ONNX IR版本
1.0.0 1.6向下兼容1.2 11 2 6
0.5.0 1.5向下兼容1.2 10 1 5
0.4.0 1.5向下兼容1.2 10 1 5
0.3.1
0.3.0		 1.4向下兼容1.2 9 1 3
0.2.1
0.2.0		 1.3向下兼容1.2 8 1 3
0.1.5
0.1.4		 1.3向下兼容1.2 8 1 3

资料链接：
1）trtis支持的版本信息
2）ONNX Runtime 与 ONNX 版本关系
3）ONNX简介.

Logo
2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

cover

机器学习 决策树-分类

avatar 2048 AI社区
cover

软考中级-软件设计师 UML图详解（ 类图，对象图，用例图，序列图，通信图，状态图，活动图，构件图，部署图）

avatar 2048 AI社区

不懂编程本科毕业生手搓三个APP，用ChatGPT两年狂赚千万美金！

而现在更厉害的是，有了多模态能力的ChatGPT，直接上传设计图片、截图，并告诉它「我要做成这个样子，这些按钮要实现xxx功能，帮我把代码写出来」。ChatGPT发布那天，Walter Isaacson在课上也是表现的异常热情激动，他的眼睛闪烁着兴奋的光芒，就像孩子看到了心爱的玩具一样。也就是说，假设你能做对80%的决策，另一个人也能做对80%，并且你们的专长领域不重叠，那么当你们联手的时候，正确

avatar 2048 AI社区