Leetop Jetson Cloud Demo 1初体验

TensorRT
编译sample
如果使用deb文件安装的TensorRT，可以在编译C++ Samples之前将/usr/src/tensorrt目录拷贝到一个新的目录下。如果是使用tar文件安装的TensorRT，Samples文档在{TAR_EXTRACT_PATH}/samples。Jetpack里的TensorRT samples目录在/usr/src/tensorrt。根据下面的命令，编译所有的sample然后运行其中一个：

cd /usr/src/tensorrt/samples
$ sudo make -j4
$ cd ../bin
$ ./<sample_bin>

运行sample (ONNX MNIST)

1. 运行编译的可执行文件将MNIST的ONNX模型生成tensorRT engine并执行输出结果

## ./sample_onnx_mnist [-h or --help] [-d or --datadir=<path to data directory>] [--useDLACore=<int>] [--int8 or --fp16]
$ cd /usr/src/tensorrt/bin
$ ./sample_onnx_mnist

Note: MNIST模型文件与测试数据存放在/usr/src/tensorrt/data/mnist

2. 验证是否成功运行。如果成功运行，您将看到类似于以下内容的输出：

&&&& RUNNING TensorRT.sample_onnx_mnist # ./sample_onnx_mnist
----------------------------------------------------------------
Input filename: ../../../../../../data/samples/mnist/mnist.onnx
ONNX IR version: 0.0.3
Opset version: 1
Producer name: CNTK
Producer version: 2.4
Domain:
Model version: 1
Doc string:
----------------------------------------------------------------
[I] Input:
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@*.  .*@@@@@@@@@@@
@@@@@@@@@@*.     +@@@@@@@@@@
@@@@@@@@@@. :#+   %@@@@@@@@@
@@@@@@@@@@.:@@@+  +@@@@@@@@@
@@@@@@@@@@.:@@@@:  +@@@@@@@@
@@@@@@@@@@=%@@@@:  +@@@@@@@@
@@@@@@@@@@@@@@@@#  +@@@@@@@@
@@@@@@@@@@@@@@@@*  +@@@@@@@@
@@@@@@@@@@@@@@@@:  +@@@@@@@@
@@@@@@@@@@@@@@@@:  +@@@@@@@@
@@@@@@@@@@@@@@@*  .@@@@@@@@@
@@@@@@@@@@%**%@.  *@@@@@@@@@
@@@@@@@@%+.  .:  .@@@@@@@@@@
@@@@@@@@=  ..    :@@@@@@@@@@
@@@@@@@@:  *@@:  :@@@@@@@@@@
@@@@@@@%   %@*    *@@@@@@@@@
@@@@@@@%   ++ ++  .%@@@@@@@@
@@@@@@@@-    +@@-  +@@@@@@@@
@@@@@@@@=  :*@@@#  .%@@@@@@@
@@@@@@@@@+*@@@@@%.   %@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@

[I] Output:
Prob 0 0.0000 Class 0:
Prob 1 0.0000 Class 1:
Prob 2 1.0000 Class 2: **********
Prob 3 0.0000 Class 3:
Prob 4 0.0000 Class 4:
Prob 5 0.0000 Class 5:
Prob 6 0.0000 Class 6:
Prob 7 0.0000 Class 7:
Prob 8 0.0000 Class 8:
Prob 9 0.0000 Class 9:

&&&& PASSED TensorRT.sample_onnx_mnist # ./sample_onnx_mnist

3. 该输出显示sample成功运行：PASSED
   查看sample的功能选项：--help
   要查看可用选项及其说明的完整列表，请使用“-h”或“-help”命令行选项。

支持如下的设备：
Module Jetpack config Software other SW HW
Orin devkit module 35.0 EA V2 default DS + Full Jetpack + Pytorch + TF Todesk NV devkit
Orin 32G 35.0 EA V2 default DS + Full Jetpack + Pytorch + TF Todesk NV devkit
Orin devkit module 35.0 EA V2 default DS + Full Jetpack + Pytorch + TF Todesk Leetop carry board
Orin 32G 35.0 EA V2 default DS + Full Jetpack + Pytorch + TF Todesk Leetop carry board
Orin devkit 35.0 EA V2 Orin nx 16G DS + Full Jetpack + Pytorch + TF Todesk
Orin devkit 35.0 EA V2 Orin nx 8G DS + Full Jetpack + Pytorch + TF Todesk
Xavier devkit module 35.0 EA V2 default DS + Full Jetpack + Pytorch + TF Todesk NV devkit
Xavier 32G 35.0 EA V2 default DS + Full Jetpack + Pytorch + TF Todesk Leetop carry board
Xavier Industry 35.0 EA V2 default DS + Full Jetpack + Pytorch + TF Todesk Leetop carry board
Xavier Industry 35.0 EA V2 default DS + Full Jetpack + Pytorch + TF Todesk NV devkit
Xavier NX 35.0 EA V2 default DS + Full Jetpack + Pytorch + TF Todesk Leetop carry board
Xavier NX 16G 35.0 EA V2 default DS + Full Jetpack + Pytorch + TF Todesk Leetop carry board
Nano R 32.7.2 default DS + Full Jetpack + Pytorch + TF Todesk Leetop carry board
TX2 NX R 32.7.2 default DS + Full Jetpack + Pytorch + TF Todesk Leetop carry board
Xavier devkit module R 32.7.2 default DS + Full Jetpack + Pytorch + TF Todesk NV devkit
Xavier 32G R 32.7.2 default DS + Full Jetpack + Pytorch + TF Todesk Leetop carry board
Xavier Industry R 32.7.2 default DS + Full Jetpack + Pytorch + TF Todesk Leetop carry board
Xavier Industry R 32.7.2 default DS + Full Jetpack + Pytorch + TF Todesk NV devkit
Xavier NX R 32.7.2 default DS + Full Jetpack + Pytorch + TF Todesk Leetop carry board
Xavier NX 16G R 32.7.2 default DS + Full Jetpack + Pytorch + TF Todesk Leetop carry board