

【新智元導讀】谷歌 DeepMind 發布 D4RT,徹底顛覆了動態 4D 重建范式。它拋棄了復雜的傳統流水線,用一個統一的「時空查詢」接口,同時搞定全像素追蹤、深度估計與相機位姿。不僅精度屠榜,速度更比現有 SOTA 快出 300 倍。這是具身智能與自動駕駛以及 AR 的新基石,AI 終于能像人類一樣,實時看懂這個流動的世界。
如果是幾年前,你問一位計算機視覺工程師:「我想把這段視頻里的所有東西——無論它是靜止的房子還是奔跑的狗——都在 3D 世界里重建出來,并且還能隨時知道它們下一秒會去哪兒,需要多久?」
他大概會遞給你一根煙,讓你先去買幾塊頂級顯卡,然后給你畫一個由四五個不同模型拼湊起來的流程圖:先算光流,再算深度,再估相機位姿,最后還得用一晚上的時間去跑優化,祈禱結果別崩。
但谷歌 DeepMind 剛剛發布的 D4RT(Dynamic 4D Reconstruction and Tracking),試圖終結這種混亂。

這篇論文在計算機視覺領域扔下了一枚關于「效率革命」的重磅炸彈。
它把原本割裂的 3D 重建、相機追蹤、動態物體捕捉,統一成了一個極簡的「查詢」動作。

更重要的是,它的速度比現有 SOTA技術快了 18 到 300 倍。

如果在你的認知里,高質量的 4D 重建還是好萊塢特效工作室里那些昂貴且緩慢的渲染農場,耗費漫長的時間等待生成完畢,那么 D4RT 正在把這種能力變成一種可以塞進機器人大腦甚至 AR 眼鏡里的實時直覺。
Demo 演示
為了理解 D4RT 到底做到了什么,我們需要先看一眼它眼中的世界。
在論文展示的演示中,最直觀的震撼來自于對「動態混亂」的駕馭能力。
想象一下這個畫面:一只天鵝在水面上劃過,或者一朵花在風中快速綻放。
傳統的 3D 重建算法(比如 MegaSaM 或 )處理這種場景通常是一場災難——因為它們假設世界是靜止的,所以它們往往會在 3D 空間里留下一串「重影」,就像老式膠片重疊曝光一樣,天鵝變成了長著幾十個脖子的怪物,或者花朵直接變成了一團無法辨認的噪點。
但 D4RT 給出的結果極其干凈。
它不僅可以精準還原天鵝的 3D 形態,還完美剝離了相機的運動和天鵝自身的運動。
在它的視野里,時間變成了一個可以隨意拖動的滑塊。

更令人印象深刻的是它的全像素追蹤能力。
你可以點擊視頻中花瓣上的任意一個像素,D4RT 就能畫出這個點在過去和未來的完整 3D 軌跡,哪怕這個點在中間幾幀被蜜蜂遮擋了,或者跑到了畫面之外,模型依然能根據上下文「腦補」出它的去向。

這種視覺效果給人的感覺是:AI 不再是在一幀幀地「看」視頻,而是把整段視頻吞下去,樂魚體育官方網站在大腦里生成了一個完整的、流動的全息全景圖,然后你可以隨意從任何角度、任何時間去檢視它。

模型能力對比圖
拆解「神話」
是真的快,還是文字游戲?
科技公司發論文,數據通常都很漂亮。
作為觀察者,我們需要剝離 PR 濾鏡,看看數據背后的定語。
谷歌聲稱 D4RT 比之前的 SOTA 快了 300 倍,處理一分鐘的視頻只需要 5 秒鐘。
這是真的嗎?
答案是:在特定維度上,是真的。
這里的「300 倍」指的是吞吐量,具體來說是「在保持相同幀率(FPS)的前提下,模型能同時追蹤多少條 3D 軌跡」。
數據對比:在 24 FPS 的標準電影幀率下,之前的強者 SpatialTrackerV2 只能同時追蹤 84條軌跡,再多就卡了;而 D4RT 可以輕松處理 1570條。如果是和 DELTA 這種更慢的模型比,那就是 314 倍的差距。

實際意義:這意味著之前的技術可能只能盯著畫面里的主角(比如一個人),而 D4RT 可以同時盯著背景里走動的路人、飄落的樹葉和遠處的車流——即所謂的「全像素級感知」。
它比同類技術強在哪兒?
目前市面上的 4D 重建技術主要分兩派:
「拼裝派」(如 MegaSaM):把深度估計、光流、分割等多個現成模型串起來。雖然效果不錯,但不僅慢,而且一旦一個環節出錯(比如光流飄了),后面全完。
「多頭派」(如 VGGT):雖然是一個大模型,金沙電玩但為了輸出不同的任務(深度、位姿、點云),需要掛載不同的解碼頭,結構臃腫。
D4RT 的牛,在于它做到了架構層面的統一。
它不需要為深度單獨做一個解碼器,也不需要為位姿單獨做一個。
它只用同一個接口解決所有問題。

有沒有代價?當然有。
D4RT 的「快」主要體現在推理階段。
在訓練階段,它依然是一個龐然大物。它的編碼器使用了 ViT-g,擁有 10 億參數,并且需要在 64 個 TPU 芯片上訓練兩天。
這絕不是普通開發者在自家車庫里能復現的玩具,它是典型的「大廠重武器」。
技術解碼
把 4D 重建變成「搜索引擎」
那么,D4RT 到底是怎么做到的?
論文的核心邏輯可以用一句話概括:先全局「閱讀」視頻,再按需「搜索」答案。
不再逐幀解碼,而是「全局記憶」
傳統的視頻處理往往是線性的,處理第 10 幀時可能已經「忘」了第 1 幀的細節。
D4RT 的第一步是使用一個巨大的 Transformer 編碼器(Encoder),把整段視頻壓縮成一個全局場景表征(Global Scene Representation, F)。
你可以把這個 F 想象成 AI 對這段視頻形成的「長期記憶」。
{jz:field.toptypename/}一旦這個記憶生成了,原本龐大的視頻數據就被濃縮在了這里。
「哪里不會點哪里」的查詢機制
這是 D4RT 最天才的設計。它發明了一種通用的查詢(Query)語言。
當 AI 想要知道某個像素的信息時,它會向解碼器(Decoder)發送一個查詢 q:
這個公式翻譯成人話就是:
「請告訴我:在 這一幀圖像上坐標為 的那個點,它在 這個時間時刻,如果從 這個相機的視角看過去,它的 3D 坐標在哪里?」
如果你想生成深度圖:就問「現在這個點在現在的相機里多遠?」(讓 )。
如果你想做軌跡追蹤:就問「這個點在第 1 幀、第 2 幀 …… 第 N 幀都在哪?」(固定 ,改變 )。

如果你想重建點云:就問「視頻里所有點在同一時刻的世界坐標在哪?」(把所有點都映射到同一個 )。

并行計算的藝術
因為每一個查詢(Query)都是獨立的,D4RT 不需要像穿針引線一樣按順序計算。
它可以一次性扔出幾萬個問題,利用 GPU/TPU 的并行能力同時算出答案。
這就是為什么它能比別人快 300 倍的根本原因:它把一個復雜的串行幾何問題,變成了一個大規模并行的搜索問題。
關鍵的「作弊」技巧:9x9 Patch
論文作者還發現了一個有趣的細節:如果只告訴解碼器坐標點,AI 有時候會「臉盲」,分不清紋理相似的區域。
于是,他們在查詢時順便把那個像素點周圍 9x9的小方塊圖像(RGB Patch)也喂給了模型。

這就像是你讓人在人群中找人,光給個坐標不行,還得給他一張那個人臉部的特寫照片。
消融實驗證明,這個小小的設計極大地提升了重建的銳度和細節。

產業影響
谷歌的野心與具身智能的眼睛
D4RT 的出現,對谷歌現有的業務版圖和未來的 AI 戰略有著極強的互補性。
具身智能與自動駕駛的最后一塊拼圖
現在的機器人之所以笨,很大程度上是因為它們「看不懂」動態環境。
一個掃地機器人能避開沙發,但很難預判一只正在跑過來的貓。
D4RT 提供的實時、密集、動態的 4D 感知,正是機器人急需的技能。
它能讓機器人理解:那個東西不僅現在在那里,而且下一秒它會出現在我左邊。
對于自動駕駛而言,這種對動態物體(如行人、車輛)的像素級軌跡預測,是提升安全性的關鍵。
增強現實(AR)的基石
谷歌一直在 AR 領域尋找突破口(從當年的谷歌眼鏡,到現在的 Project Astra)。
要在眼鏡端實現逼真的 AR,必須要有極低延遲的場景理解。
D4RT 展示的高效推理能力(尤其是在移動端芯片上的潛力),讓「實時把虛擬怪獸藏在真實沙發后面」變得在工程上可行。
對普通人的影響
視頻編輯的「魔法化」
對于普通用戶,這項技術最快落地的場景可能是手機相冊和視頻編輯軟件。
想象一下,你拍了一段孩子踢球的視頻。
有了 D4RT,你可以像在《黑客帝國》里一樣,在視頻播放過程中隨意旋轉視角(盡管你拍攝時并沒有移動),或者輕易地把路人從復雜的背景中「摳」掉,甚至改變視頻中光源的方向。
這是 D4RT 這種 4D 重建技術成熟后的應用之一。
結語
D4RT 讓我們看到了一種新的可能性:AI 對世界的理解,正在從二維的「圖像識別」跨越到四維的「時空洞察」。
它告訴我們,要看清這個流動的世界,關鍵不在于每一幀都看得多仔細,而在于如何建立一個能夠隨時回應疑問的全局記憶。
在 AI的眼中,過去并沒有消逝,未來也不再不可捉摸,它們只是同一個四維坐標系里,等待被查詢的兩個不同參數而已。

備案號: