智能制造網APP
智能制造網手機站
智能制造網小程序
智能制造網官微
智能制造網服務號
智能控制
機器人
儀器儀表
物聯(lián)網
3D打印
工業(yè)軟件
回放
品牌
其他品牌
據外媒報道，近日，中國天津職業(yè)技術師范大學(Tianjin University of Technology and Education)、山東交通職業(yè)學院(Shandong Transport Vocational College)和天津中德應用科技大學(Tianjin Sino-German University of Applied Sciences)的研究人員討論到，將光探測和測距(LiDAR激光雷達)與攝像頭傳感器相集成對提高自動駕駛汽車的物體探測能力的重要性。此種傳感器融合技術將激光雷達點云數(shù)據和RGB(紅、綠、藍)攝像頭圖像集成在一起，旨在提高自動駕駛汽車在不同環(huán)境條件下的探測精度和可靠性。
自動駕駛汽車技術的進步促進了人們對強大物體探測和跟蹤系統(tǒng)的需求不斷增長，以確保自動駕駛汽車可在各種環(huán)境條件下安全、高效地運行。傳統(tǒng)的物體探測系統(tǒng)通常依賴激光雷達或攝像頭等單個傳感器，而這類傳感器都具有各自的優(yōu)勢和局限性。激光雷達傳感器可以提供精確的深度信息，但在惡劣天氣條件或低光照環(huán)境下可能會遇到困難。
為了克服此類單個傳感器的局限性以及提升探測能力，通過融合技術集成多個傳感器已成為一種有發(fā)展前景的解決方案。激光雷達-攝像頭傳感器融合技術結合了激光雷達的深度感知能力以及攝像頭所捕捉到的視覺信息。
在該項研究中，研究人員通過激光雷達-攝像頭傳感器融合技術，來提升自動駕駛汽車的物體探測能力。該技術采用了一種綜合方法，將激光雷達點云的數(shù)據與RGB攝像頭圖像集成在一起。
研究人員使用KITTI數(shù)據集收集數(shù)據，該數(shù)據集提供了同步的激光雷達點云數(shù)據和RGB圖像以及內部和外部的傳感器參數(shù)，幫助攝像頭和激光雷達設備進行校準，從而實現(xiàn)坐標系之間的精確投影。此外，研究人員還采用自己采集到的數(shù)據，在現(xiàn)實場景中驗證PointPillars算法的探測性能。
研究人員采用了兩種最先進的深度學習模型用于物體探測：用于激光雷達點云數(shù)據處理的PointPillars以及用于分析攝像頭捕捉到的RGB圖像的YOLOv5。PointPillars網絡基于激光雷達數(shù)據生成3D物體探測結果，而YOLOv5基于攝像頭圖像提供2D物體探測結果。此類結果相融合對于實現(xiàn)全面的物體探測至關重要。
結果融合過程包括使用聯(lián)合校準參數(shù)，將激光雷達的3D物體檢測框投射到由攝像頭捕捉到的2D圖像上。研究人員采用目標邊界框相交重疊(IOU評價函數(shù))匹配策略，將激光雷達和攝像頭的探測結果融合在一起，再采用結合了Dempster-Shafer(D-S)理論的融合算法，結合類別置信度，產生最終的融合探測輸出結果。
對于跟蹤移動物體，研究人員改進了DeepSORT算法，以解決遮擋后動態(tài)物體重新出現(xiàn)產生的身份切換問題。改進后的DeepSORT算法采用了一個無跡卡爾曼濾波器(Unscented Kalman Filter)來進行狀態(tài)估計，提高了在動態(tài)場景下的跟蹤精度。
研究人員設置的實驗分析了融合算法在不同日間場景下的性能，將融合結果與單傳感器探測的結果進行比較，以評估該融合方法在更準確地包裹汽車和行人目標方面的有效性，另外還采用了多物體跟蹤準確度(MOTA)、多物體跟蹤精度(MOTP)、高階跟蹤精度(HOTA)以及集成式探測與跟蹤F1分數(shù)(IDF1)等性能指標來評估該跟蹤算法的效率。
在日間場景中，該融合算法將激光雷達和攝像頭數(shù)據高效結合，以產生更加全面且準確的物體探測結果。融合結果表明，與單傳感器探測相比，目標邊界框可以更好地包裹汽車和行人目標，探測性能得以提升對于確保自動駕駛系統(tǒng)在各種日間場景中的安全性和高效率至關重要。
在燈光昏暗的夜間場景中，激光雷達和攝像頭數(shù)據的融合顯得尤為重要。該融合算法成功補足了單個傳感器的局限性，特別是在探測行人和車輛目標的情況下。融合結果顯示出較強的識別效果，能夠更完整地包裹目標，提高了低光照環(huán)境下的整體探測能力。
基于D-S證據理論的統(tǒng)計分析法為融合過程提供了寶貴的見解，該融合策略有效地結合了激光雷達和攝像頭數(shù)據的類別置信度，從而提高了物體探測能力。此類融合結果表明，該方法探測到汽車和行人的概率更高，表明了該融合算法在提升探測精度方面具有魯棒性。
該研究還評估了跟蹤算法在動態(tài)目標跟蹤場景下的性能，特別是得到改進的DeepSORT算法的性能。研究人員采用MOTA、MOTP、HOTA和IDF1等指標對不同的跟蹤方法進行了比較，凸顯了得到改進的DeepSORT算法在準確跟蹤動態(tài)目標、減少身份切換問題以及提升整體跟蹤性能方面的有效性。
浙公網安備 33010602000006號
智能制造網APP
智能制造網小程序
微信公眾號
