在部署模型时,对于输入数据的预处理是一个非常耗时的操作,其实可以将预处理一同打包到模型中,在转换为ONNX或者Tensorrt模型后这些操作就可以随着模型一起被加速执行。
以最简单的归一化操作为例
归一化Module如下:
1 | class Normalize(torch.nn.Module): |
之后修改模型的inti和forward函数即可
1 | class MyModel(nn.Module): |
在部署模型时,对于输入数据的预处理是一个非常耗时的操作,其实可以将预处理一同打包到模型中,在转换为ONNX或者Tensorrt模型后这些操作就可以随着模型一起被加速执行。
以最简单的归一化操作为例
归一化Module如下:
1 | class Normalize(torch.nn.Module): |
之后修改模型的inti和forward函数即可
1 | class MyModel(nn.Module): |