TensorFlow Serving初步使用教程与记录

概述

tensorflow-serving支持rpc和rest，本文基于rest编写。构建k8s的pod

部署

单模型部署，dockerfile如下:

登录后复制

FROM tensorflow/serving
MAINTAINER zhouwenyang
ADD model /models/${model_name}/${version}
ENV MODEL_NAME=${model_name}1.2.3.4.

${model_name}和${version}根据自己需要更改。可以使用挂载文件的方式，但是如果部署k8s则需要打进容器，或者使用共享的volumes的方式

多模型部署参考：https://www.jianshu.com/p/d11a5c3dc757

查看模型输入输出情况: http://${host}:${port}/v1/models/${model_name}/metadata

自定义op

预测

根据查看模型的metadata，搞起一个http post接口

接口地址为: http://${host}:${port}/v1/models/${model_name}:predict

post参数为:

登录后复制

{
  "inputs":{
    "${param1}":${value1},
    "${param2}":${value2},
    "${param3}":${value3},
    "${param4}":${value4}
  }  
}1.2.3.4.5.6.7.8.

免责声明：本文系网络转载或改编，未找到原创作者，版权归原作者所有。如涉及版权，请联系删