如何部署TensorFlow模型

如何部署TensorFlow模型，很多新手对此不是很清楚，为了帮助大家解决这个难题，下面小编将为大家详细讲解，有这方面需求的人可以来学习下，希望你能有所收获。

TensorFlow模型部署

1. docker镜像拉取

# Download the TensorFlow Serving Docker image and repo
docker pull tensorflow/serving

2. 保存模型

# 保存模型的时候需要设置模型的版本号字段，不然部署到docker后会报找不到模型版本的错误
model.save("./data/models/zsh_test/1")

3. 部署模型

3.1 单个模型部署

# 映射restapi端口8501，grpc端口8500
# 映射模型定义的路径
# 定义模型名称
docker run -p 8501:8501 \
  -v /path/to/model/models/zsh_test:/models/zsh_test/ \
  -e MODEL_NAME=zsh_test -t tensorflow/serving

# 模型结构
~/PycharmProjects/pytorch-study/data/models
❯ tree
.
└── zsh_test
    └── 1
        ├── assets
        ├── saved_model.pb
        └── variables
            ├── variables.data-00000-of-00001
            └── variables.index

4 directories, 3 files

3.2 多个模型部署

• 目录结构

  在模型保存文件夹models下保存多个模型，并添加models.config配置文件，配置模型基本信息。

  ~/PycharmProjects/pytorch-study/data
  ❯ tree
  .
  ├── exp_all_data.csv
  ├── exp_all_result.csv
  └── models
      ├── models.config
      ├── zsh_test
      │   └── 1
      │       ├── assets
      │       ├── saved_model.pb
      │       └── variables
      │           ├── variables.data-00000-of-00001
      │           └── variables.index
      └── zsh_test1
          └── 1
              ├── assets
              ├── saved_model.pb
              └── variables
                  ├── variables.data-00000-of-00001
                  └── variables.index
  
  9 directories, 9 files

  
  

• 配置文件

  model_config_list:{
      config:{
        name:"zsh_test",
        base_path:"/models/zsh_test",
        model_platform:"tensorflow"
      },
      config:{
        name:"zsh_test1",
        base_path:"/models/zsh_test1",
        model_platform:"tensorflow"
      }
  }

  
  

# 部署多个模型
docker run -p 8501:8501 \
-v /path/to/model/models/:/models/ \
-t tensorflow/serving --model_config_file=/models/models.config

4. 测试API

 # http://ip:prot/version/models/model_name
 # 查看模型信息
 curl http://localhost:8501/v1/models/zsh_test
 
 response:
 {
 "model_version_status": [
  {
   "version": "1",
   "state": "AVAILABLE",
   "status": {
    "error_code": "OK",
    "error_message": ""
   }
  }
 ]
}

# 调用模型
curl --location --request POST 'http://localhost:8501/v1/models/zsh_test:predict' \
--header 'Content-Type: application/json' \
--data '{"instances": [test_data]
}'

看完上述内容是否对您有帮助呢？如果还想对相关知识有进一步的了解或阅读更多相关文章，请关注亿速云行业资讯频道，感谢您对亿速云的支持。