[论文解读] Re-Evaluating LiDAR Scene Flow for Autonomous Driving

Nathaniel Chodosh, Deva Ramanan+1 more|arXiv (Cornell University)|Apr 4, 2023

Advanced Neural Network Applications被引用 4

一句话总结

本文重新評估了自監督 LiDAR 景深流基準，揭示出在合成資料集（如 stereoKITTI）上表現最佳的學習型方法在真實世界資料上表現不佳。本文提出一種無學習基線方法，結合 ICP 進行自運動估計、地面移除與測試時優化，該方法在 Waymo、Argoverse 和 NuScenes 等真實世界資料集上超越所有評估方法。

ABSTRACT

Popular benchmarks for self-supervised LiDAR scene flow (stereoKITTI, and FlyingThings3D) have unrealistic rates of dynamic motion, unrealistic correspondences, and unrealistic sampling patterns. As a result, progress on these benchmarks is misleading and may cause researchers to focus on the wrong problems. We evaluate a suite of top methods on a suite of real-world datasets (Argoverse 2.0, Waymo, and NuScenes) and report several conclusions. First, we find that performance on stereoKITTI is negatively correlated with performance on real-world data. Second, we find that one of this task's key components -- removing the dominant ego-motion -- is better solved by classic ICP than any tested method. Finally, we show that despite the emphasis placed on learning, most performance gains are caused by pre- and post-processing steps: piecewise-rigid refinement and ground removal. We demonstrate this through a baseline method that combines these processing steps with a learning-free test-time flow optimization. This baseline outperforms every evaluated method.

研究动机与目标

• 探討廣泛使用的自監督 LiDAR 景深流基準（如 stereoKITTI 和 FlyingThings3D）在引導真實世界自動駕駛研究方面的有效性。
• 識別當前基準設計中的缺陷——特別是不切實際的動態運動模式、人工對應關係以及不具代表性的動態/靜態比例——這些因素扭曲了性能評估。
• 在真實世界資料集（Argoverse 2.0、Waymo、NuScenes）上評估最尖端的學習型景深流方法，以評估其在真實世界中的泛化能力。
• 證明預處理與後處理步驟——特別是透過 ICP 進行自運動估計、地面移除與分段剛性優化——對性能的貢獻超過學習型模組。
• 提出並驗證一種無資料基線方法，結合 ICP、地面分割與測試時優化，實現無需任何訓練資料的最尖端性能。

提出的方法

• 使用迭代 closest point (ICP) 進行自運動估計，顯示其在真實世界資料上表現優於所有測試的學習型自運動預測器。
• 應用學習型地面分割模型，在流估計前識別並移除靜態地面點，以減少雜訊並提升準確度。
• 實施測試時優化策略，對估計的流強制施加分段剛性約束，於推理後進行結果精煉，無需學習過程。
• 將基於 ICP 的自運動校正、地面移除與分段剛性優化整合為單一基線流程，完全不需要訓練資料。
• 使用座標網絡進行高度圖估計，以提升地面分割與流估計過程中的空間一致性。
• 以動態點端點誤差（EPE）為主要指標，在真實世界資料集上評估基線與十餘種最尖端自監督方法。

Figure 1 : Recent self-supervised scene flow methods [ 60 , 30 , 26 , 17 ] typically focus on performance on stereoKITTI [ 35 ] . We call attention to several problematic aspects of its semi-synthetic construction. When evaluated on real-world datasets (Waymo, Argoverse, NuScenes) we find a negative

实验结果

研究问题

• RQ1 在 stereoKITTI 等合成基準上表現優異，是否與在真實世界 LiDAR 景深流資料集（如 Waymo、Argoverse 和 NuScenes）上的強大表現相關？
• RQ2 一種完全依賴經典優化與預/後處理的無學習方法，是否能在真實世界資料上超越最尖端的自監督學習型景深流模型？
• RQ3 與學習型模組相比，預處理（如地面移除）與後處理（如分段剛性優化）對性能提升的貢獻程度如何？
• RQ4 為何當前基準（如 stereoKITTI 和 FlyingThings3D）無法反映自動駕駛場景中 LiDAR 景深流的真實挑戰？
• RQ5 現代學習型景深流模型的性能主要歸功於架構創新，還是有效運用經典幾何與優化技術？

主要发现

• 在 stereoKITTI 上的表現與在真實世界資料集上的表現呈負相關：在 stereoKITTI 上表現最佳的方法在 Argoverse、Waymo 和 NuScenes 上表現持續不佳。
• ICP 在真實世界資料上表現優於所有測試的學習型自運動估計方法，包括專為自運動預測設計的模型。
• 所提出的無學習基線方法——結合 ICP、地面移除與測試時分段剛性優化——在所有真實世界資料集上均超越所有評估的自監督方法。
• 在 NuScenes 資料集上，基線方法實現動態點端點誤差（EPE）為 0.158 m，超越 SLIM（一種最尖端的自監督方法）報告的最佳結果 0.172 m。
• 在 lidarKITTI 基準上，基線方法超越除一種之外的所有自監督與弱監督方法，展現出即使無訓練資料也具備優異泛化能力。
• 地面分割在 NuScenes 上達到 99.3% 的準確率，在 Waymo 上達到 99.4%，且動態點誤分類為地面的比例低於 1%，顯示對非平面地形具備強健性。

Figure 2 : The correlation between performance on stereoKITTI and performance on real datasets as a function of how much those datasets violate the one-to-one correspondence assumption present in stereoKITTI. The more a dataset violates this assumption (higher chamfer distance due to sparser pointcl