这个工具可以合并所有 TensorFlow 模型到同一个可以用于 TensorFlow Serving 格式的大模型. 它有如下优势
- 可以将小模型合并到同一模型中, 更容易部署.
- 因为可以合并, 故每次部署的模型名字都是相同的, 只是版本不同, 根据 TensorFlow Serving 的特性, 可以进行热部署.
详情查看 GitHub.
用法
- 将训练并 frozen 后的模型放入
./frozen文件夹下; - 在
export_serving_model.py中添加导出信息;- 设置更新信息
UPDATE_MESSAGE - 定义导出函数
- 在函数上方添加
@ServingInfo.export修饰即可导出(如不添加, 则不导出此模型)
- 设置更新信息
- 运行
export_serving_model.py脚本; - 将
./serving/{version}拷贝到服务器部署;
说明
运行 export_serving_model.py 会自动在文件夹 ./serving 中生成(或修改)两个文件:
-
current_version: 表示当前版本, 里面记录了更新信息. -
exported_models: 表示已导出的模型.
已导出的模型
| model | signature_name | input_signature_map | output_signature_map | frozen location(./frozen) |
|---|---|---|---|---|
| [model description] | hyaudio_1 | 'inputs':'hyaudio/vggish_input:0' |
'classes':'hyaudio/predict_classes:0', 'probs':'hyaudio/predict_probs:0' |
audio/hyaudio.pb |
| [model description] | hyaudio_2 | 'inputs':'hyaudio/vggish_input:0' |
'classes':'hyaudio/predict_classes:0', 'probs':'hyaudio/predict_probs:0' |
audio/hyaudio.pb |
检查导出的模型
使用官方的 SavedModel CLI 工具.
查看所有 SignatureDef 签名:
saved_model_cli show --dir ./serving/1 --tag_set serve
查看指定模型的所有输入, 输出节点信息:
saved_model_cli show --dir ./serving/1 --tag_set serve --signature_def audio_hyaudio
