本發明公開了一種基于多模態融合的多目標跟蹤的方法和系統,包括目標檢測模塊、特征提取模塊、特征融合模塊、相似度計算模塊及數據關聯模塊;其中,所述目標檢測模塊采用yolov4算法從圖像獲取目標的2D檢測框,并采用PointPillars算法從點云獲取目標的3D檢測框,所述特征提取模塊用于對檢測框進行處理,提取目標的2D、3D外觀特征,本發明通過多個獨立的傳感器特征提取來保持可靠性,利用多模態加權融合方式,得到更全面的目標特征,提高精度,可以有效避免單一傳感器失效問題,使用圖神經網絡和圖卷積優化目標關聯,提升準確度,濾波預測更新,彌補目標的丟失問題,對多個目標進行實時跟蹤,生成對應ID,關聯前后幀的同一目標,實現高精度定位的效果。
聲明:
“基于多模態融合的多目標跟蹤的方法和系統” 該技術專利(論文)所有權利歸屬于技術(論文)所有人。僅供學習研究,如用于商業用途,請聯系該技術所有人。
我是此專利(論文)的發明人(作者)