FastH3 在 RTX 50 上的推理优化:从 MXFP8 算子到长视频流水线
这个项目的目标,是在保持生成速度和已验收画质的前提下,尽可能减少 FastH3 的显存与主存占用。为此需要同时解决两件事:让矩阵乘落到 Tensor Core 上,以及让权重和中间结果在有限显存里按时到达。前者决定计算有多快,后者决定 GPU 有多少时间真的在计算。
这次实现使用 CuTe DSL 重写主要 DiT 算子,组合 BF16 与 MXFP8,并整理了磁盘、主存和 GPU 之间的数据流。在 RTX 5080 上,15 秒参考视频加一张人物图、输出 15 秒 768p 视频的完整八步 R2VA 请求,生成耗时约 2258 秒,整卡显存采样峰值 11.35 GiB。Linux RTX 5090 上对应请求为 1260 秒、9.88 GiB。本文重点解释这些资源是怎样省下来的,以及长视频中反复出现的 bubble 是怎样定位的。
项目代码:Casxt/fasth3-rtx50。本文以 e3ab0ee 版本及截至 2026 年 11 月 16 日保留的实测记录为准。图中的流水线和存储布局是设计示意;带秒数、带宽和占用的表图是实测或明确标注的容量计算。
一、先明确优化对象:八步很少,每一步仍然很大
FastH3 已经通过蒸馏减少采样步数。本项目使用 FastVideo 发布的八步权重,继续优化单机推理,不重新训练模型。T2VA 使用文生视频权重,R2VA 使用 Omni 参考权重;首帧 F2VA 和首尾帧 FL2VA 是另外两种输入方式,权重来源和帧控方式要分开看。权重清单与固定版本
八步只说明 transformer forward 的次数。每次 forward 内,仍有很多层注意力、投影和 FFN;视频长度和参考素材还会扩大序列。
以 Linux 的两条 15 秒案例为例,T2VA 有 107,856 行视频 token,R2VA 有 211,056 行,后者还包括 13,933 行 Qwen 条件序列和 1,206 行音频序列。这里的 Qwen 条件行包含视觉 embedding,不能按普通提示词字数估算。R2VA 的输入视频和输出视频长度都会影响计算规模。实际 token 统计
这条路线首先减少同时存活的数据,再降低主计算的数据宽度,最后检查相邻阶段能否接起来。单纯把所有张量都换成低精度,或者给每个加载加上 non_blocking=True,都不足以完成这件事。
二、内存规划:先消除重复存储,再决定哪些数据搬走
优化目标:节省空间,同时不增加关键路径上的等待
节省显存有两类办法。删除重复张量、复用生命周期不重叠的存储、融合中间结果,主要减少原本没有必要的资源开销;将仍要消费的数据卸载到 CPU,或用重算换存储,则可能增加传输和计算。
本项目优先做前一类,再对后一类逐项测量。比较时固定输入长度、分辨率、权重与精度方案、seed 和已改写提示词,在相同显存预算内看完整阶段的时间;同时检查输出一致性或样片质量。目标是从可运行的方案中,找出占用更低、速度没有可辨认退步的安排。它不承诺逐层 offload 能无条件追平所有权重常驻 GPU 的理想情况。
一次小于 1% 的耗时变化,也要结合重复测量的波动解释。后文固定单 arena 的均值比动态分配多约 0.15%,因此采用的是“时间基本持平、保留显存更少”的结论,没有声称测出了严格零开销。
峰值看同时存活的数据,不看所有张量大小之和
先按执行顺序列出每份数据的创建点、最后一个消费者和释放点,再计算各时刻同时存在的存储。Qwen、参考 VAE、DiT 和最终 VAE 解码按阶段交接,通常不需要把它们的 GPU 权重峰值加在一起。
阶段交接仍会保留必要的条件 embedding、参考 latent 和生成 latent。释放前一组件的权重,不等于清空全部输入;为后续阶段准备首组权重时,重叠部分也必须计入预算。DiT 结束后,主层权重 arena 和长视频 scratch 会先释放,再进入最终解码。阶段交接与清理顺序
在一个长序列 DiT block 内,同样可以找到复用机会。残差 R 要一直保留;调制输入 X 在 QKV 与 attention 读完之后,就可以让输出投影直接覆盖。投影结束再将门控分支加回 R,接着分块做 FFN。这个顺序省掉一份完整宽度的 BF16 投影结果,前提是 X 的最后一个读取者确实已经结束。
| 固定存储 | ① 调制 | ② QKV / VSA | ③ 输出投影 | ④ 残差更新 | ⑤ FFN |
|---|---|---|---|---|---|
| BF16 残差 R | 读 | 保留 | 保留 | 就地更新 | 分块更新 |
| BF16 缓冲 X | 写调制结果 | 逐组读 | 覆写为投影结果 | 读后用完 | 存储保留待复用 |
| MXFP8 输出 O | 存储保留 | 逐组写 | 读 | 存储保留 | 存储保留 |
这里还要区分“值已经没有消费者”和“内存已经归还”。固定 scratch 可以在逻辑空闲时继续占着分配,换来下一层不再重新申请。它减少分配波动,但不会把这一段占用从显存统计中抹掉。当前实现也没有做全模型通用的静态内存分配器;它针对已经验证过的生命周期安排几块主要缓冲。长序列缓冲与就地写回
15s + 15s:主要常驻缓冲有多大
沿用 226,195 行、隐藏宽度 5,376 的真实 R2VA 请求,一份完整 BF16 状态约为 2.265 GiB。当前长序列路径规划两份:R 和可覆写的 X。注意力输出按 32 个元素一个 scale 的 MXFP8 保存,约 1.168 GiB;这次权重组对应的单 arena 容量约为 0.442 GiB。
| 主要存储 | 规划方式 | 容量 |
|---|---|---|
| BF16 残差 R | 各层就地更新 | 2.265 GiB |
| BF16 调制 / 投影缓冲 X | 两个用途复用同一存储 | 2.265 GiB |
| MXFP8 注意力输出 O | 值与 scale 一起保留 | 1.168 GiB |
| 当前主层权重 arena | 按最大权重组分配,一组复用 | 0.442 GiB |
| 以上小计 | 有效载荷与 arena 容量 | 约 6.140 GiB |
这个小计还没有包括 QKV、padding、路由分数、临时量化结果、位置编码、其他模块权重和库工作区。代码会在主要缓冲之外,为注意力布局与路由另做保守估算,并加上 320 MiB 余量;不能拿 6.140 GiB 当作整条请求的峰值。后文少层实测的 CUDA 分配峰值约 8.49 GiB,差额包含这些额外存储,不能只用几项理论载荷完整还原 allocator 峰值。
分块要保留语义,也要核对重算成本
长序列 attention 按独立 head 分组,默认一次处理 4 个 head,而不是同时物化全部 42 个 head 的 Q/K/V。单看未 padding 的 BF16 Q/K/V,有效载荷从约 6.795 GiB 降到一组约 0.647 GiB;真实实现还要为布局转换和前后同时存活的结果留空间。所有 token 和选块规则仍然保留,完整注意力输出最后交给输出投影。
Head 分组减少并发工作区,但会增加分组调度和对输入的重复消费。长序列关闭输入量化缓存,可以为注意力输出腾出显存,却也会重新量化部分输入;能否划算,要把省下的 D2H / H2D 与新增量化一起计时。它是经过对照选择的配置,不是没有成本的删除。
QKV 的 2048-token 分块则控制投影的临时量化范围和提交粒度,和 4-head 分组是两个不同维度。FFN 使用更小的 GEMM 分块,并把归一化、调制与残差处理放在有界分块里,避免为整段长序列再建一份扩张后的 FFN 中间结果。工作区估算与分块策略
权重能按层搬,中间结果也要有去处
完整模型放不进目标显存时,可以让当前层的权重上卡,用完后换下一层。GPU 峰值因而主要由当前权重、激活、注意力工作区和临时缓冲组成,而不是完整模型的参数量。
主存也不能忽略。加载整个 state dict,再转换精度、拼接权重、复制到 pinned memory,可能同时留下几份大张量。项目使用文件支持的权重读取和有界暂存区,避免为了搬一层权重先物化整个 DiT。mmap 是一种读取方式,普通文件 read_into 也是;两者都可能利用操作系统页缓存。文件映射大小、进程 RSS 和真实磁盘读取量是三件不同的事。权重存储实现
Pinned memory 允许建立可靠的异步拷贝通路,但它本身也占主存。不能把全部权重都锁住,更不能在 DMA 还在读取某个槽时,让 CPU 往同一槽里写下一份数据。项目用事件确认 H2D 完成,再归还暂存槽;GPU arena 同样要等上一层的计算消费结束才能覆盖。分组 offload 与事件管理
主 DiT 的权重暂存池是 512 MiB,分成 4 个 128 MiB 槽。CPU 可以继续读后续分块,GPU 使用固定 arena 中的当前权重;槽数不会让整个模型多复制四份。池再大也要计入主存,只有队列确实减少读取等待时才值得增加。
单 GPU arena 的限制也很明确:下一组权重的 H2D 不能覆盖当前层仍在读取的位置。因此,CPU 预读可以重叠,不代表所有 H2D 都已经被计算隐藏。再增加 GPU arena 才能扩大这一侧的重叠机会;后文会用实测解释,为什么这点速度收益不足以抵偿默认配置的额外显存。
主存同样规划,避免拿主存替显存无限兜底
输入视频先整理成目标画布和帧率的 uint8 帧,避免长时间保留不再需要的高分辨率原始帧,也不提前为整段视频建立多份浮点副本。按 360 帧、1344×768、RGB 计算,一份 uint8 视频有效载荷约 1.038 GiB,FP32 同形状则约 4.153 GiB;这里未计帧数对齐和其他对象。有界参考视频读取
如果显存预算不允许 O 驻留,主存暂存路径复用同一份 BF16 输出矩阵,而不是每层重新分配和释放。它的 D2H 暂存槽与权重 pinned 池分别核算:激活侧最多两槽,代码仅在两槽合计不超过 512 MiB 时启用这条 pinned 通路。不能把“权重池 512 MiB”理解成程序所有页锁定主存的总上限。
文件页缓存也有成本。mmap 避免主动克隆完整权重,但被访问的文件页仍会占用物理内存;OS 可以回收的文件缓存、Python 私有缓冲和 pinned 主存,要分开解释。热缓存下读得快,不代表冷启动完全不受磁盘影响,更不代表映射权重没有主存占用。
上限不等于实际占用
默认限制 PyTorch allocator 为 10 GiB,并至少给整卡保留 256 MiB。DiT 还会根据外部占用下调预算,尽量把整卡使用控制在 11.5 GiB 内。这里的预算只是上限,不能写成“启动就分配 10 GiB”,也不包含所有驱动、桌面和其他进程的占用。
后面的数据分别列出 CUDA 分配峰值、保留峰值和整卡采样峰值。主存同样区分 Python 进程、全系统以及 Linux 容器。Linux 测试容器有 92 GiB 限额,进程 RSS 约 18 GiB,并不能据此证明整个任务已经在 32 GiB 宿主机上验证通过。
具体选择驻留路径时,程序取 allocator 剩余预算与整卡空闲减 reserve 两者的较小值,再判断两份 BF16 状态、MXFP8 输出、权重 arena 和保守工作区能否同时放下。整卡目标还会扣除观测到的外部占用与额外 128 MiB 余量,且不会放宽已有 allocator 上限。预算计算
这是一份保守的运行前规划,实际分配仍可能失败。失败后释放部分申请并退回主存路径,是“仍能完成任务”的保障,不是“不降速”的证明;应从运行报告确认最终采用的策略,再比较耗时。正常热循环不反复调用 empty_cache(),主要在组件交接与分配失败恢复时清理,避免把复用优势重新变成分配和同步开销。
哪些空间先省,哪些空间值得留下
| 空间安排 | 收益 | 速度检查重点 |
|---|---|---|
| 组件错峰驻留、最后使用后覆写 X | 删除不必要的同时存储 | 交接顺序正确,不引入重新计算 |
| MXFP8 权重与融合打包 | 减少权重传输与中间结果读写 | 量化、scale 准备和写回一起计时 |
| 固定单 arena 与请求级 scratch | 减少重复分配,稳定保留量 | 对照完整阶段时间与显存峰值 |
| GPU 保留紧凑的 O | 少用一部分空闲显存,删除主存往返 | 省下传输是否覆盖打包和常驻成本 |
| 额外量化缓存、第二份 GPU 权重 arena | 可能减少重算或等待 | 增量收益是否值得增量空间 |
| 主存 offload 回退 | 更低显存也能执行 | 显式记录降速,不能混作默认性能 |
因此,不以“显存越空越好”来选择策略。先排除没有用途的占用,再让必要的少量驻留缓冲消除等待;如果省下的一份 GPU 存储马上又导致重复传输,就需要重新比较整条数据路径。
三、MXFP8:权重离线打包,激活在消费前量化
每 32 个数共用一个尺度
这里的 MXFP8 由 E4M3 数据和 E8M0 缩放因子组成。沿归约维 K,每 32 个连续元素共用一个 scale;表示一个数时,实际值近似为 FP8 数据 × scale。它仍然有量化误差,优势是局部数值范围可以分别适配,不必让整行都服从同一个较大的异常值。
项目从原始 BF16 权重离线转换 MXFP8,并把 scale 排成 kernel 所需布局。计算时输入激活通常先是 BF16,进入 GEMM 前再量化。这条主计算路径是 W8A8,FP32 累加;BF16 输入接口并不意味着 W8A16。 最终结果再按后续算子需要写回 BF16 或 MXFP8。格式定义与量化策略
缩小权重还有一个系统收益:逐层 offload 时,PCIe 上需要传输的有效载荷减少。激活的量化则会新增归约、转换和 scale 写入,必须和 GEMM 一起计时。
数据类型支持,不保证一个朴素 kernel 就足够快
最初的 MXFP8 实现慢,不能直接归因为 Tensor Core 对这个格式支持不好。一次 GEMM 除了 MMA,还要安排数据加载、scale 读取、寄存器布局、共享内存交接和结果写回。只让少量 warp 顺序做完所有工作,即使每条乘加都用了 Tensor Core,也会留下大量等待。
还有一条架构边界:RTX 50 系列是 SM120,本项目用 CuTe DSL 的 warp.MmaMXF8Op 执行原生 block-scaled MMA。前文 B200 的 2CTA 讨论的是另一套指令与存储组织,不能把 SM100 的 tcgen05、TMEM 和 2CTA 设计直接视为本项目已经实现的功能。本项目 GEMM、PTX 的 block scaling MMA 定义
四、Warp 分工:输入和输出各有一条流水线
加载者准备下一块,计算者消费当前块
Warp Specialization 指不同 warp 承担不同职责。FFN 的实现把输入加载、Tensor Core 计算和输出交接分开,用环形共享内存和屏障连接起来。
在当前原生 FFN 中,一个 loader warp 负责 TMA 输入与 scale 准备,四个 compute warp 做 MMA。输入侧默认两个 K 槽,计算当前 K 分块时,可以准备下一块。环形槽有两个状态:数据 ready,或者空间 free。加载者和消费者分别等待自己需要的状态,不能只加一个笼统的全块同步。流水线与屏障实现
TMA 是按张量描述发起大块异步搬运的机制。这里的收益包括减少逐元素地址处理,并让搬运与计算交错推进;scale 仍需要按 MMA 的布局准备,TMA 不会自动完成所有数据重排。
输出也可以交给专门的 warp
Down projection 需要 BF16 输出。计算 warp 将结果写进共享内存的输出槽,store warp 等结果 ready,再用 TMA 从共享内存写到显存。输入环和输出环分别管理生命周期,loader 不必等当前输出的所有工作都结束,才开始准备后续输入。
释放输出槽时有一个细节:需要确认异步 store 已经读完共享内存,才能覆盖源槽;kernel 退出前,还要确认全局写入完成,后续 kernel 才能消费结果。这两个完成条件不同。项目在对应位置分别等待,避免为了“异步”引入偶发数据覆盖。FFN 输出环代码
输出环加深会占用更多 SMEM。128×128 的 BF16 tile 一份就有 32 KiB,增加一个输出槽未必划算。当前默认输入 K 环为两槽,输出环为一槽,没有把所有缓冲都机械地设成双缓冲。
Persistent CTA 只在合适的形状使用
Persistent 调度让有限数量的 CTA 循环领取多个 tile。它有机会跨 tile 复用执行状态、减少流水线反复启动,但会减少独立任务数量,也改变尾部负载分布。
当前 FFN 上投影对完整 512-token 分块,将 grid 上限设为 SM 数量的两倍;这规定网格规模,不保证每个 SM 同时驻留两个 CTA。下投影和其他长度保留不同安排。这是按实际形状选择,不能扩写成“全项目 persistent 都更快”。同样,tile 增大能增加复用,也会增加寄存器和共享内存开销,最终要看完整 FFN 的耗时。实际调度入口
五、融合的目标:让下一步直接吃到需要的格式
FFN 上投影、SwiGLU 和打包
FFN 的上投影生成 value 和 gate 两部分,SwiGLU 计算 value × SiLU(gate),下投影再消费它。朴素安排会先把上投影结果写回显存,另起 kernel 读取、做激活,再读取一次量化结果。
这里把 SwiGLU 和 MXFP8 打包放进上投影的 epilogue,也就是矩阵乘后的结果处理阶段。计算 warp 从累加结果得到 value/gate,完成需要的类型转换与激活,直接写出下投影可用的 E4M3 数据和 scale,省下大份 BF16 中间结果的往返。
RMSNorm、AdaLN 和 MXFP8 打包
另一处融合发生在投影之前。RMSNorm 按行归一化,AdaLN 根据条件进行缩放和平移,接下来本来还要把结果量化为 MXFP8。把这几个操作放在一条数据通路里,可以减少 BF16 中间结果落地和重复读取。
但“融合”也不意味着把所有值都丢掉。某些后续分支仍需要调制后的 BF16 数据,长序列路径会按生命周期复用相应缓冲;不能只为了压低一次 kernel 的显存数字,在下一步又重新计算一遍。融合算子、长序列数据生命周期
融合前后还要检查舍入位置。把 BF16 中间值改为一直用 FP32 算到最后,会改变数值,即使数学表达式看起来相同。数据搬运优化可以要求逐位一致,量化或舍入改变则需要数值检查和固定 seed 样片对照,验收口径不能混用。
六、稀疏注意力:只算选中的块,也不保留完整注意力矩阵
VSA 先在较粗粒度上选择视频块,再对选中的块做精细 attention。三维视频块的布局、边缘长度、条件区域和选块规则都会影响结果;这些细节在 VSA 文章里单独展开。
本项目把精细计算放到 CuTe DSL 的 BF16 Tensor Core 上,并使用在线 softmax 维护每行最大值、指数和与输出累加器。这样无需把完整 Q×K 分数矩阵写到显存。需要保留的是后续投影要消费的注意力输出 O,不是完整的注意力概率矩阵 P。 注意力实现
实现过程中还清掉了一项额外计算:把 softmax 概率拆成高位和低位残差,分别计算 P_hi×V 与 P_lo×V,用第二次 PV 补偿转换误差。它能逼近更高精度的概率,但增加一次矩阵乘和交接。当前路径保留一次 BF16 概率 PV,累加器仍为 FP32;移除残差项会改变数值,不能称为数学等价优化。它经过固定八步样片对照后才进入默认配置。
稀疏率也不能直接换成加速比。路由、块布局、softmax、投影、FFN 和边缘处理仍然存在。保留更少的 attention 块,只减少其中一部分工作;只给出“计算了多少比例的注意力”不能解释整个模型快多少。
七、长视频的 bubble:先区分没有工作和没有算力吃满
CPU 的暂停也会让 GPU 断粮
GPU 工作由 CPU 不断提交。CPU 如果在释放大缓冲、分配新存储、等待事件或者整理下一份输入,提交队列最终可能耗尽,GPU 就会出现空档。大张量位于 CPU,不代表它的生命周期不会影响 GPU。
早期长 R2VA 路径每层都有大份 BF16 主存暂存。改成固定缓冲复用后,可以减少分配与释放引起的主线程停顿。但主存复用只解决一部分问题:注意力输出如果仍从 GPU 下载,接着又为输出投影上传,数据往返和同步依赖还在。
让注意力输出以 MXFP8 留在 GPU
第二节算过,这条 15 秒输入加 15 秒输出请求的 O,用 BF16 保存约 2.265 GiB,用 MXFP8 保存约 1.168 GiB。当前策略先为这份紧凑输出保留预算,首次使用时建立缓冲,之后逐层复用,直接交给输出投影;放不下则使用主存暂存路径。长序列保持 2048-token QKV 分块,并关闭输入量化缓存,给真正需要存活的数据腾出空间。
下面是同一进程内交错执行、各两次未加 profiler 测量的均值:15 秒参考视频加一张短边 512 的人物图,768p 输出,第一步中 block 0 预热后测量 block 1–10。QKV 分块为 2048,关闭输入量化缓存。两条路径最后一层输出逐位一致。
| 指标 | 主存暂存 | GPU MXFP8 驻留 |
|---|---|---|
| 未加 profiler 的 10 层均值 | 55.055 s | 53.190 s |
| CUDA 分配峰值 | 6.934 GiB | 8.491 GiB |
| 独立 trace 中 CUDA 活动并集 | 98.277% | 99.615% |
| 独立 trace 中累计空档 | 955.0 ms | 204.7 ms |
这项优化的少层时间下降约 3.4%,代价是更多 GPU 常驻激活。 这轮实验允许 12 GiB allocator 上限,不能把它的 reservation 当成最终默认配置的占用。它也没有重测完整生成,不能把 3.4% 直接标到八步端到端结果上。本文附带的测量摘录
固定权重 arena,比再加一份权重缓冲更适合默认配置
下一步把 DiT 主层权重放入固定 GPU arena。预先按最大组分配一块内存,用 tensor view 对应各权重,层与层之间复用同一地址,减少动态分配和 allocator 保留量的波动。
在已经启用 GPU 输出驻留、整卡目标 11.5 GiB 的另一组 10 层对照中,动态分配与固定单 arena 分别为 53.197 s 和 53.276 s,约 0.15% 的差异不足以证明速度改善。但 CUDA 保留峰值从 9.066 降到 8.623 GiB,整卡采样峰值从 11.347 降到 10.902 GiB,输出逐位一致。
双 arena 可以在计算当前层时 H2D 下一层,但还要多放一组权重。这组实验中时间约 52.958 s,只比单 arena 低约 0.6%,整卡峰值却回到约 11.350 GiB。因此默认选择固定单 arena,优先保留显存余量。Pinned 暂存池的多槽预读仍然存在,选择单 GPU arena 不等于关闭全部流水线。
怎样观察剩余空档
任务管理器适合发现周期性山谷,但采样窗口和显示的 GPU engine 不等于 kernel 时间线。进一步判断时,需要对 kernel、copy 和 memset 的活动区间取并集:
1 | CUDA 活动率 = 窗口内至少有一种 CUDA 活动的时间 / 窗口总时间 |
最长一次空档很短,累计空档仍可能不少。剩余间隙要统计次数、分布和总量,再对照 CPU 提交 API、拷贝事件与同步点定位。不能仅看两个相邻 kernel 之间有空白,就认定整张卡没有其他 stream 在工作。
Linux RTX 5090 的独立验证使用同一条 226,195-token 长请求,预热后观察第一步中 12 个真实 block。CUDA 活动并集为 99.721%,最长空档 7.55 ms,最差一秒窗口为 98.732%;profile 窗口 34.221 s,相邻独立预热窗口 33.838 s。这个约 1.13% 的差异也包含运行波动。完整测试口径
活动率接近 100% 后,仍可能有访存受限、Tensor Core 等待和指令调度问题。一个 kernel 持续运行就算“活跃”,不代表它达到峰值吞吐;后续要用算子内部指标分析,不能继续把所有性能问题都叫 bubble。
八、PCIe 要单独测,端到端要按阶段看
先确认传输上限
同一份脚本在两台机器上测了 256 MiB pinned 拷贝。CPU 端计时包含提交与等待完成,结果如下,单位使用十进制 GB/s:
| 平台 | PCIe 负载状态 | H2D | D2H |
|---|---|---|---|
| Windows RTX 5080 | Gen5 ×16 | 56.44 GB/s | 56.89 GB/s |
| Linux RTX 5090 | Gen5 ×16 | 56.32 GB/s | 57.15 GB/s |
每个方向预热三次、测量二十次,取中位数;缓冲分配和数据校验不在计时内。两边的大块 pinned 带宽接近,不能用“Linux 的 pageable H2D 较慢”解释这条 pinned 流水线的空档。它们走的主存路径不同。带宽报告与复现方法
吞吐好也不保证应用快。如果每次只搬很小的数据,提交、等待和线程调度可能占主要时间;如果一个结果必须下载后才能决定下一步,拷贝再快也会引入依赖。优化顺序应当先删除往返、减少同步,再考虑合并小拷贝和提高单次带宽。
完整生成的结果
图 7:数据截至 2026-11-16。三条请求均为一段参考视频加一张短边 512 的人物图,输出 1344×768、24 fps。时间包含本地推理、VAE 解码和原始导出,不含 PE 与之后的 H.265 转码。Linux 与 Windows 保留的对应输入、seed 和采样参数对齐,约有 1.73–1.82 倍整机速度差;这不是同一块显卡上的软件 A/B。
Linux 的实测 CPU 为 Xeon Gold 6459C,容器有效 CPU 容量 16 核;Windows 为 Ryzen 9 9950X。两边均为 Torch 2.10.0+cu128,CPU、GPU、操作系统、页缓存状态和其他 I/O 条件不同。硬件信息以实测为准,不采用租用页面的初始描述。
| R2VA 输入 / 输出 | Windows 5080 Python 工作集 / 私有提交 | Windows 整卡显存 | Linux 5090 Python RSS | Linux 整卡显存 |
|---|---|---|---|---|
| 5 s / 5 s + 1 图 | 17.41 / 28.92 GiB | 9.41 GiB | 17.52 GiB | 7.08 GiB |
| 10 s / 10 s + 1 图 | 17.90 / 29.80 GiB | 10.69 GiB | 17.92 GiB | 9.57 GiB |
| 15 s / 15 s + 1 图 | 18.34 / 30.64 GiB | 11.35 GiB | 18.10 GiB | 9.88 GiB |
这些内存数值是各自峰值,未必出现在同一时刻。Windows 工作集 / 私有提交与 Linux RSS 不是同一种完整内存口径,表里保留原名称;整卡显存为采样峰值,包含驱动等占用。实际验证设备是 5080 16 GiB 与 5090 32 GiB,在它们上面限制预算,并不等于已在所有 12 GiB 型号实测。
再看 5090 的 15 秒 R2VA:DiT 八步约 1145.5 秒,参考 VAE 约 58.5 秒,最终解码约 33.8 秒,Qwen 约 13.5 秒。最大的计算块仍然是 DiT,VAE 和 Qwen 也有独立的后续优化空间。阶段耗时
九、哪些取舍保留,哪些还不能下结论
本次默认策略包括离线 MXFP8 权重、原生 Tensor Core GEMM、FFN 与归一化打包融合、有界权重预读、固定单 arena,以及预算允许时的 GPU 注意力输出驻留。有限的额外显存应优先留给能消除大份激活往返的缓冲,再判断多一份权重预取是否值得。
必要的配置、形状与内存预算保护继续保留;怀疑数值或权重问题时,用 --debug-checks 开启较重的检查。全量 finite 扫描、把 CUDA 标量转成 Python 值之类操作不应反复夹进热路径。它们可能触发同步,也会让“测到的 kernel 时间”和用户实际等待的时间分离。
精度按组件处理。DiT 的主要线性层走 MXFP8;参考 VAE 编码保留已验收的 BF16 路径;视频 VAE 解码对已覆盖的 FFN 使用 MXFP8 overlay,其余部分维持适合的精度。Qwen 使用上游提供的 NVFP4 权重路径。不能把这些简写成“整个模型都是 MXFP8”,VAE 和 Qwen 目前也没有像 DiT 一样深入优化。VAE overlay 范围
效果还有模型与提示词的边界。T2VA 偶尔出现块状模糊;使用文生权重的帧控样片存在轻微模糊,匹配 BF16 DiT 的对照没有明显改善,Omni 参考权重在已测帧控样片中避开了这类问题。这些对照不能证明量化在所有场景都没有影响,只说明不应把当前全部瑕疵都归给 MXFP8。480p 主要用于测速,效果检查建议使用 720p 及以上。
官方 Context IR 没有随模型开源。当前 OpenH3-IR 集成只作为 PE 演示,镜头、人物绑定、参考视频对应关系和对白仍需要调试。比较 kernel 或精度时固定已经改写好的 prompt;比较 PE 时再单独改变提示词,避免把两类变化混在一起。
下一轮优化仍应从占比最大的实测阶段开始:分别分析稀疏注意力内部的 MMA、softmax、访存和同步,继续检查长序列分块与数据复用,再对 VAE 和 Qwen 做独立 profile。每一项都同时记录耗时、显存、主存和样片对照,让优化结果既能解释,也能复现。
实现与测量资料
- FastH3 RTX50 源码与样片:本项目的实现、组件来源及许可证说明。
- Linux 全案例、token 与阶段耗时:完整生成与少层 profile 分别记录。
- CPU / GPU 传输基线:带宽、PCIe、CPU 与内存统计口径。
- 本文测量数据摘录:用于表图的容量计算与 A/B 数据,不包含原始 trace 或参考素材。
- NVIDIA PTX ISA:矩阵指令、block scaling 与同步语义。
- 前文:Attention 流水线:解释 MMA 与 softmax 怎样交错,以及为什么更多缓冲不一定更快。