FastH3 在 RTX 50 上的推理优化:从 MXFP8 算子到长视频流水线
这个项目的目标,是在保持生成速度和已验收画质的前提下,尽可能减少 FastH3 的显存与主存占用。为此需要同时解决两件事:让矩阵乘落到 Tensor Core 上,以及让权重和中间结果在有限显存里按时到达。前者决定计算有多快,后者决定 GPU 有多少时间真的在计算。
这次实现使用 CuTe DSL 重写主要 DiT 算子,组合 BF16 与 MXFP8,并整理了磁盘、主存和 GPU 之间的数据流。在 RTX 5080 上,15 秒参考视频加一张人物图、输出 15 秒 768p 视频的完整八步 R2VA 请求,生成耗时约 2258 秒,整卡显存采样峰值 11.35 GiB。Linux RTX 5090 上对应请求为 1260 秒、9.88 GiB。本文重点解释这些资源是怎样省下来的,以及长视频中反复出现的 bubble 是怎样定位的。