这是团队在Open-Sora上，使用5个4s（192帧）480p分辨率视频进行的测试。

新方法名为Pyramid Attention Broadcast（PAB），由新加坡国立大学尤洋以及3位学生推出。

 

具体来说，PAB通过减少冗余注意力计算，可实现高达21.6FPS和10.6倍加速，并且不会牺牲基于DiT的流行视频生成模型（包括Open-Sora、Open-Sora-Plan和Latte）的质量。

作为一种免训练方法，PAB可为将来任何基于DiT的视频生成模型提供实时功能。

看完效果对比，网友们纷纷惊叹：

这将是新纪元。

 

也引来了众多专业人士的转发和点评，如MIT博士Yilun Du表示：

是一个展示了如何将视频生成加速到实时速度的酷炫工作！可能会为视频策略和模拟的现实世界用例开辟新的领域。

 

那么，新方法具体如何破解实时生成视频这个难题的呢？

减少冗余注意力计算

一开始，团队比较了当前扩散步骤与前一步骤的注意力输出差异。

这些差异通过均方误差（MSE）进行量化，并对每个扩散步骤的所有层进行平均。

团队捕捉到两个关键信息：

• 随着时间推移，注意力差异遵循U形模式，中间70%差异较小
• 注意力差异的排序为：空间>时间>交叉

 

具体而言，不同时间步骤的注意力差异呈现出U形模式，在第一步和最后一步的15%步骤中发生显著变化，而中间70%的步骤非常稳定，差异很小。

其次，在稳定的中间部分，不同类型的注意力表现出差异：空间注意力变化最大，涉及高频元素，如边缘和纹理；时间注意力显示出与视频中的运动和动态相关的中频变化；跨模态注意力最为稳定，它将文本与视频内容联系起来，类似于反映文本语义的低频信号。

对此，团队正式提出用PAB来减少不必要的注意力计算。

 

PAB通过根据每种注意力的差异将注意力输出到不同的后续步骤，从而节省计算量。

举个例子，就像广播电台把一个信号发送给多个听众一样，如果某个步骤的注意力结果在接下来的几个步骤中仍然适用，就不需要重新计算，而是直接使用之前的结果。

团队发现，即使没有后期训练，这种简单策略也能实现高达35%的加速，并且质量损失可以忽略不计。

为了进一步增强PAB，团队基于动态序列并行（DSP）改进了序列并行。

 

序列并行通过在多个GPU上分割视频以降低延迟，但DSP带来的时间注意力需两次全对全通信，导致高通信开销。

而PAB由于时间注意力不再需要被计算，使这些通信开销减少了50%以上，从而优化了实时视频生成的分布式推理效率。

借助并行功能，PAB可实现高达21.6FPS和10.6倍加速，并且不会牺牲基于DiT的流行视频生成模型（包括Open-Sora、Open-Sora-Plan和Latte）的质量。