11. 模型部署与推理优化

Thu, 13 Aug 2026 11:11:00 +0800

训练好的模型只有部署到生产环境才能创造价值。本文覆盖模型格式转换、服务化架构、推理加速（量化、剪枝、蒸馏）与边缘端部署的完整链路。

1. 模型持久化与格式

1.1 PyTorch 模型保存

import torch

# 保存完整模型（不推荐，依赖环境）
torch.save(model, 'model.pt')
model = torch.load('model.pt')

# 保存状态字典（推荐，跨版本兼容）
torch.save(model.state_dict(), 'model_weights.pth')

# 加载
model = MyModel()
model.load_state_dict(torch.load('model_weights.pth'))
model.eval()

# 保存训练状态（含优化器、epoch）
checkpoint = {
 'epoch': epoch,
 'model_state_dict': model.state_dict(),
 'optimizer_state_dict': optimizer.state_dict(),
 'loss': loss,
}
torch.save(checkpoint, 'checkpoint.tar')

1.2 Pickle vs Safetensors

# Safetensors：安全、快速、无代码执行风险
from safetensors.torch import save_file, load_file

save_file(model.state_dict(), 'model.safetensors')
state_dict = load_file('model.safetensors')

2. ONNX 跨平台部署

2.1 PyTorch → ONNX

ONNX (Open Neural Network Exchange) 是跨框架的中间表示格式。

模型优化 on PlumePHP

11. 模型部署与推理优化

1. 模型持久化与格式

1.1 PyTorch 模型保存

1.2 Pickle vs Safetensors

2. ONNX 跨平台部署

2.1 PyTorch → ONNX