【導(dǎo)讀】在無人機(jī)、自主移動(dòng)機(jī)器人（AMR）、人形機(jī)器人等自主設(shè)備的視覺感知系統(tǒng)中，高動(dòng)態(tài)范圍（HDR）成像能力是保障復(fù)雜光照環(huán)境下可靠導(dǎo)航、避障、識(shí)別的核心基石。本文為《面向無人機(jī)和機(jī)器人的圖像傳感器教程》教程的第二篇，將系統(tǒng)介紹圖像傳感器的選型標(biāo)準(zhǔn)和實(shí)現(xiàn)HDR的三種方法等。第一篇請(qǐng)查看一文讀懂無人機(jī)與工業(yè)機(jī)器人的環(huán)境感知需求。
一、圖像傳感器質(zhì)量與選型標(biāo)準(zhǔn)
成像性能
在評(píng)估適合特定任務(wù)的圖像傳感器時(shí)，需依據(jù)無人機(jī)或機(jī)器人的實(shí)際應(yīng)用場景確定性能標(biāo)準(zhǔn)。室內(nèi)和室外的光照條件截然不同。必須考慮到移動(dòng)中的物體。商業(yè)攝影師可以通過調(diào)節(jié)快門速度和鏡頭光圈來達(dá)到想要的視覺效果。但測(cè)繪、監(jiān)控、科學(xué)觀測(cè)等應(yīng)用，對(duì)成像設(shè)備有著不同的性能要求，尤其是設(shè)備自身快門的運(yùn)用方式。
環(huán)境溫度會(huì)對(duì)成像設(shè)備的性能造成極大影響，設(shè)備供電也會(huì)受到影響。圖像傳感器對(duì)熱量十分敏感，若工作溫度較高且未采用相應(yīng)的補(bǔ)償設(shè)計(jì)，成像畫面就會(huì)產(chǎn)生噪點(diǎn)。
產(chǎn)品和系統(tǒng)參數(shù)
除了尺寸和成本等典型因素外，可靠的功耗管理也至關(guān)重要。特別是對(duì)于典型的現(xiàn)代無人機(jī)云臺(tái)或人形機(jī)器人“頭部”這樣的多相機(jī)系統(tǒng)，成像設(shè)備需要具有互操作性。所有成像設(shè)備均由電子網(wǎng)絡(luò)統(tǒng)一管控，因此必須對(duì)它們的帶寬進(jìn)行優(yōu)化。帶寬分配過量與帶寬占用過載，都會(huì)造成嚴(yán)重問題。在傳感器中集成盡可能多的功能，將有助于優(yōu)化性能。
工具和支持
即使是當(dāng)今頂尖的圖像傳感器，如果搭配的組件缺少高質(zhì)量的光學(xué)元件、高帶寬接口和功能強(qiáng)大的ECU處理器，也無法充分發(fā)揮性能。所有成像設(shè)備，如同所有用于各種用途的電子元件一樣，都必須融入統(tǒng)一的平臺(tái)中。安森美半導(dǎo)體攜手成像生態(tài)合作伙伴，確保即便各種平臺(tái)設(shè)備來自不同供應(yīng)商，也能穩(wěn)定發(fā)揮理想性能，使用順暢且功能無損。
二、高動(dòng)態(tài)范圍的重要性
動(dòng)態(tài)范圍指傳感器捕捉場景中不同亮度層級(jí)的能力，涵蓋最暗陰影到最亮高光的全部區(qū)間。在設(shè)計(jì)成像系統(tǒng)以補(bǔ)償強(qiáng)光環(huán)境并同時(shí)保留暗光細(xì)節(jié)與對(duì)比度時(shí)，通常可從三個(gè)不同維度選擇方案：
時(shí)間：同步采集多張不同曝光度的圖像，然后壓縮圖像合成的時(shí)間間隔（該操作會(huì)削弱信號(hào)強(qiáng)度）。
空間：縮小光電二極管的尺寸，或是將像素分區(qū)設(shè)置，用大尺寸高靈敏度像素搭配相鄰的小尺寸低靈敏度子像素，以此減少整體進(jìn)光量（該操作會(huì)削弱信號(hào)強(qiáng)度）。
增益：增大圖像傳感器可讀取和存儲(chǔ)數(shù)據(jù)的電容容量，通常做法是加大二極管尺寸并增設(shè)電容（該操作會(huì)提升信號(hào)強(qiáng)度，但會(huì)占用更多存儲(chǔ)空間與處理時(shí)間）。
三、實(shí)現(xiàn)優(yōu)異HDR的三種方法
多重曝光方法將三張不同積分時(shí)長的圖像進(jìn)行運(yùn)算合成，最終生成一張高動(dòng)態(tài)范圍圖像。這種方法存在一個(gè)問題：各幀圖像的拍攝時(shí)間不同，容易產(chǎn)生運(yùn)動(dòng)偽影。若拍攝畫面中的光源為脈沖式光源，例如LED燈、汽車尾燈，較短的積分時(shí)長會(huì)引發(fā)頻閃偽影。對(duì)于高分辨率傳感器而言，多重曝光方法操作繁瑣，甚至?xí)a(chǎn)生熱量。縮短成像間隔會(huì)進(jìn)一步加劇運(yùn)動(dòng)偽影；LED光源的頻閃頻率超出人眼識(shí)別范圍，卻仍能被快門捕捉，頻閃現(xiàn)象會(huì)愈發(fā)突出。
安森美的超曝光方法采用單個(gè)光電二極管，在單次積分周期內(nèi)采集全部圖像信息。同時(shí)借助像素內(nèi)多增益技術(shù)，在滿阱電荷容量極大（飽和前可承載電荷量高）的前提下，實(shí)現(xiàn)低本底噪聲。
四、嵌入式HDR（eHDR）的優(yōu)勢(shì)
高動(dòng)態(tài)范圍可依靠圖像傳感器相鄰ECU的處理功能實(shí)現(xiàn)，也可將算法內(nèi)置在傳感器當(dāng)中。若使用高分辨率傳感器，并選擇在處理器端實(shí)現(xiàn)高動(dòng)態(tài)范圍，尤其是采用多重曝光方案時(shí)，容易造成帶寬占用過高。簡單計(jì)算可知，采用低壓差分信號(hào)（LVDS）、動(dòng)態(tài)范圍達(dá)120dB的HDR傳感器，單路相機(jī)就需要12Gbps的帶寬。多數(shù)情況下，ECU難以滿足相應(yīng)的處理需求。
延遲會(huì)導(dǎo)致最終成像出現(xiàn)異常，不僅會(huì)產(chǎn)生圖像偽影，還可能完全丟失快速移動(dòng)的目標(biāo)。安森美Hyperlux與Hyperlux LH系列圖像傳感器，將HDR圖像處理功能直接集成在傳感器專用集成電路上，可把輸出帶寬降至原來的五分之一。這樣一來，設(shè)計(jì)工程師就可以選用成本更低、帶寬更小的ECU。
五、利用智能線性化實(shí)現(xiàn)eHDR
將多幀圖像合成為單幀圖像以實(shí)現(xiàn)高動(dòng)態(tài)范圍的常用處理流程，稱為線性化。線性化過程通常占用大量內(nèi)存，并消耗大量的處理器資源。采用傳統(tǒng)方式做線性化處理時(shí)，畫面極易出現(xiàn)多余偽影，拍攝近距離、高亮度運(yùn)動(dòng)物體時(shí)尤為明顯。這類偽影有時(shí)是由長曝光切換至短曝光的過渡時(shí)長所導(dǎo)致。一種常見偽影表現(xiàn)為：本應(yīng)是漸變過渡的兩種色調(diào)之間，出現(xiàn)生硬分界。機(jī)器視覺算法可能會(huì)將這種分界誤判為實(shí)體硬邊緣。
安森美的智能線性化技術(shù)可解決以上該問題，方法是動(dòng)態(tài)計(jì)算長短曝光切換的信號(hào)，精準(zhǔn)控制時(shí)間以實(shí)現(xiàn)平滑的過渡。曝光時(shí)長切換更平順，成像畫面也會(huì)更自然，偽影隨之減少。安森美Hyperlux LH系列圖像傳感器AR0246與AR0822，在嵌入式HDR（eHDR）技術(shù)中應(yīng)用了智能線性化，以極低資源開銷實(shí)現(xiàn)了極致位深表現(xiàn)。
結(jié)論
對(duì)于無人機(jī)、自主移動(dòng)機(jī)器人、人形機(jī)器人等自主裝備，HDR 成像能力是復(fù)雜光照環(huán)境下導(dǎo)航、避障與目標(biāo)識(shí)別的關(guān)鍵。在圖像傳感器選型時(shí)，除成像指標(biāo)、功耗、尺寸成本外，還需要綜合考慮溫度噪聲、多相機(jī)帶寬分配以及配套光學(xué)、處理器生態(tài)。傳統(tǒng)多重曝光 HDR 容易產(chǎn)生運(yùn)動(dòng)偽影和 LED 頻閃，還會(huì)帶來巨大帶寬與算力開銷。安森美的 eHDR 方案把 HDR 處理內(nèi)置在傳感器芯片內(nèi)，搭配智能線性化技術(shù)平滑曝光切換，抑制畫面?zhèn)斡埃@著降低輸出帶寬，減輕后端 ECU 的算力負(fù)擔(dān)，在有限硬件資源條件下獲得更高質(zhì)量的高動(dòng)態(tài)圖像，更適合移動(dòng)自主機(jī)器人與無人機(jī)視覺系統(tǒng)開發(fā)。
