PyTorch模型在CentOS上的部署方法 - 问答

在CentOS上部署PyTorch模型可以通过多种方法实现，以下是一些常见的方法和步骤：

使用TorchScript进行部署

TorchScript是PyTorch的一种序列化格式，可以在C++中加载和执行。以下是使用TorchScript进行部署的基本步骤：

模型转换：

Tracing：适用于没有控制流的模型，通过记录推理路径生成torch.jit.scriptmodule。

import torch
import torchvision

model = torchvision.models.resnet18()
example = torch.rand(1, 3, 224, 224)
traced_script_module = torch.jit.trace(model, example)

Scripting：适用于有控制流的模型，直接在Torch脚本中编写模型并编译。

class MyModule(torch.nn.Module):
    def __init__(self, n, m):
        super(MyModule, self).__init__()
        self.weight = torch.nn.Parameter(torch.rand(n, m))

    def forward(self, input):
        if input.sum() > 0:
            output = self.weight.mv(input)
        else:
            output = self.weight + input
        return output

my_module = MyModule(10, 20)
sm = torch.jit.script(my_module)

保存序列化模型：

sm.save("model.pt")

在C++中加载序列化的PyTorch模型：

#include <torch/script.h>

int main(int argc, const char* argv[]) {
    torch::jit::script::Module module;
    try {
        // Deserialize the ScriptModule from a file using torch::jit::load().
        module = torch::jit::load("model.pt");
    }
    catch (const c10::Error& e) {
        std::cerr << "error loading the model\n";
        return -1;
    }

    // Execute the model
    at::Tensor input = torch::rand({1, 3, 224, 224});
    at::Tensor output = module.forward({input}).toTensor();
    std::cout << output << "\n";
    return 0;
}

使用ONNX进行部署

ONNX（Open Neural Network Exchange）是一种开放格式，用于表示深度学习模型。可以将PyTorch模型转换为ONNX格式，然后在CentOS上使用ONNX Runtime进行部署。

将PyTorch模型转换为ONNX格式：

import torch
import torch.nn as nn
import torch.optim as optim
from torch.onnx import export

class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.conv1 = nn.Conv2d(1, 6, 5)
        self.conv2 = nn.Conv2d(6, 16, 5)
        self.fc1 = nn.Linear(16 * 5 * 5, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)

    def forward(self, x):
        x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2))
        x = F.max_pool2d(F.relu(self.conv2(x)), 2)
        x = x.view(-1, self.num_flat_features(x))
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x

    def num_flat_features(self, x):
        size = x.size()[1:]  # all dimensions except the batch dimension
        num_features = 1
        for s in size:
            num_features *= s
        return num_features

model = MyModel()
example_input = torch.rand(1, 1, 28, 28)
torch.onnx.export(model, example_input, "model.onnx", verbose=True)

安装ONNX Runtime：

conda install onnx onnxruntime

在C++中使用ONNX Runtime加载和运行模型：

#include <onnxruntime_cpp_ext.h>

int main(int argc, const char* argv[]) {
    Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "test");
    Ort::SessionOptions session_options;
    session_options.SetIntraOpNumThreads(1);
    session_options.SetInterOpNumThreads(1);

    Ort::Session session(env, "model.onnx", session_options);

    std::vector<float> input_data = {/* input data */};
    std::vector<float> output_data(10);

    Ort::Value input_tensor = Ort::Value::CreateTensor<float>(input_data.data(), input_data.size(), input_data.size() * sizeof(float), input_data.data());
    Ort::Value output_tensor = Ort::Value::CreateTensor<float>(output_data.data(), output_data.size(), output_data.size() * sizeof(float), output_data.data());

    std::vector<const char*> input_names = {"input"};
    std::vector<const char*> output_names = {"output"};

    session.Run(Ort::RunOptions{nullptr}, input_names.data(), &input_tensor, input_names.size(), output_names.data(), output_names.size(), &output_tensor, output_names.size());

    return 0;
}

使用TorchServe进行部署

TorchServe是PyTorch的一个轻量级推理服务器，可以用于部署和推理PyTorch模型。

安装TorchServe：

git clone https://github.com/pytorch/serve.git
cd serve
mkdir build && cd build
cmake ..
make -j$(nproc)
sudo make install

准备模型和配置文件：创建一个配置文件model-store.cfg：

[default]
  model_name=my_model
  model_base_path=/path/to/model
  model_file_name=model.pt
  num_threads=4
  batch_size=1
  protocol=onnx

启动TorchServe：

torch-serve --model-store=model-store.cfg

使用TorchServe进行推理：

torch-client --model-name my_model --input-data "[[0.1, 0.2, ..., 0.9]]"

以上方法可以根据具体需求选择使用。如果需要更详细的步骤和配置，请参考官方文档和相关教程。

0 赞

0 踩