Maple.Link

技术分享站

0%

发表于 分类于
本文字数： 4k 阅读时长 ≈ 4 分钟

近年来，在深度学习模型的部署中，涌现了许多新技术，从最早的tf/pytorch直接部署，到onnx，到trnsorrt(trt)，模型的运行效率越来越高。但即便是使用trt方式部署模型，也依旧无法避免巨大的工作量。在使用c++部署trt时，代码量较大，还需要预处理困难。而使用python部署trt，受限于python的GIL问题，需要同时部署多个模型，又失去了trt节省显存的优点。同时，不论使用何种方式，都无法避免面对组batch等问题，整个系统的工程实现会变得非常复杂。
在这样的情况下，triton应运而生一站式的帮助我们解决了几乎所有的工程问题，作为一款强大的模型执行引擎，triton支持几乎所有主流的网络模型，对于pytorch，tensorflow，onnx，trt都有良好的支持。

本文将从trt/onnx模型的部署介绍triton的部署流程。

阅读全文 »

发表于 分类于 ，
本文字数： 2.7k 阅读时长 ≈ 2 分钟

每次部署博客时都需要在本地完成编译和上传，维护工具链成为一件很繁琐的事情，有什么办法能够将这一步自动化，为将来随时随地写博客打下基础呢？

现在来一起学(白)习(嫖)Github Action吧！

PS.阅读本文，你需要提前了解一些sh和yaml相关的知识。

阅读全文 »