跨光譜立體影像融合（Cross-Spectral Stereo Image Fusion）旨在結合不同光譜範圍的影像特徵，提升圖像分析的精度和細節呈現。在低光或完全黑暗的環境中，遠紅外線相機可提供可靠的成像，而RGB相機則提供豐富的色彩和紋理信息。我們的技術通過融合這兩種相機的影像，使得圖像在各種光照條件下提供更全面的資訊。
在相機安裝位置略有差異的情境下，立體匹配技術（Stereo Matching）能夠取得兩台相機影像的特徵匹配關係。由於在跨光譜情境下，不同光譜影像的特徵差異較大，我們開發了一套匹配模型，使其能夠同時處理RGB和遠紅外線特徵。我們利用生成模型使兩個視角具有相同的特徵，以此作為影像對輸入匹配模型。
這種跨光譜立體匹配技術，有助於提升不同類型圖像的三維重建和場景理解能力，從而在多個應用領域中發揮重要作用。
應用領域包括：
無人駕駛：在各種光照條件下提供更準確的環境感知和物體識別。
監控系統：在低光或夜間條件下提升監控圖像的可用性和精度。
醫療影像：提供更多診斷信息，提升醫療影像的分析效果。
成果
輸入
匹配特徵
影像融合
