這是團隊在Open-Sora上，使用5個4s（192幀）480p分辨率視頻進行的測試。

新方法名為Pyramid Attention Broadcast（PAB），由新加坡國立大學(xué)尤洋以及3位學(xué)生推出。

 

具體來說，PAB通過減少冗余注意力計算，可實現(xiàn)高達(dá)21.6FPS和10.6倍加速，并且不會犧牲基于DiT的流行視頻生成模型（包括Open-Sora、Open-Sora-Plan和Latte）的質(zhì)量。

作為一種免訓(xùn)練方法，PAB可為將來任何基于DiT的視頻生成模型提供實時功能。

看完效果對比，網(wǎng)友們紛紛驚嘆：

這將是新紀(jì)元。

 

也引來了眾多專業(yè)人士的轉(zhuǎn)發(fā)和點評，如MIT博士Yilun Du表示：

是一個展示了如何將視頻生成加速到實時速度的酷炫工作！可能會為視頻策略和模擬的現(xiàn)實世界用例開辟新的領(lǐng)域。

 

那么，新方法具體如何破解實時生成視頻這個難題的呢？

減少冗余注意力計算

一開始，團隊比較了當(dāng)前擴散步驟與前一步驟的注意力輸出差異。

這些差異通過均方誤差（MSE）進行量化，并對每個擴散步驟的所有層進行平均。

團隊捕捉到兩個關(guān)鍵信息：

• 隨著時間推移，注意力差異遵循U形模式，中間70%差異較小
• 注意力差異的排序為：空間>時間>交叉

 

具體而言，不同時間步驟的注意力差異呈現(xiàn)出U形模式，在第一步和最后一步的15%步驟中發(fā)生顯著變化，而中間70%的步驟非常穩(wěn)定，差異很小。

其次，在穩(wěn)定的中間部分，不同類型的注意力表現(xiàn)出差異：空間注意力變化最大，涉及高頻元素，如邊緣和紋理；時間注意力顯示出與視頻中的運動和動態(tài)相關(guān)的中頻變化；跨模態(tài)注意力最為穩(wěn)定，它將文本與視頻內(nèi)容聯(lián)系起來，類似于反映文本語義的低頻信號。

對此，團隊正式提出用PAB來減少不必要的注意力計算。

 

PAB通過根據(jù)每種注意力的差異將注意力輸出到不同的后續(xù)步驟，從而節(jié)省計算量。

舉個例子，就像廣播電臺把一個信號發(fā)送給多個聽眾一樣，如果某個步驟的注意力結(jié)果在接下來的幾個步驟中仍然適用，就不需要重新計算，而是直接使用之前的結(jié)果。

團隊發(fā)現(xiàn)，即使沒有后期訓(xùn)練，這種簡單策略也能實現(xiàn)高達(dá)35%的加速，并且質(zhì)量損失可以忽略不計。

為了進一步增強PAB，團隊基于動態(tài)序列并行（DSP）改進了序列并行。

 

序列并行通過在多個GPU上分割視頻以降低延遲，但DSP帶來的時間注意力需兩次全對全通信，導(dǎo)致高通信開銷。

而PAB由于時間注意力不再需要被計算，使這些通信開銷減少了50%以上，從而優(yōu)化了實時視頻生成的分布式推理效率。

借助并行功能，PAB可實現(xiàn)高達(dá)21.6FPS和10.6倍加速，并且不會犧牲基于DiT的流行視頻生成模型（包括Open-Sora、Open-Sora-Plan和Latte）的質(zhì)量。