近日，中科院自動化所聽覺模型與認(rèn)知計(jì)算團(tuán)隊(duì)面向嘈雜背景下的視覺感知問題，提出具有同層側(cè)向激勵和抑制的卷積脈沖神經(jīng)網(wǎng)絡(luò)模型，在多個標(biāo)準(zhǔn)數(shù)據(jù)集上表現(xiàn)出較好地識別性能和噪音魯棒性。該論文已被IJCAI 2020大會接收。

如果有人朝你扔過來一個球，通常你會怎么辦？——當(dāng)然是馬上把它接住。
這個問題是不是很簡單？但實(shí)際上，這一過程是最復(fù)雜的處理過程之一：首先，在復(fù)雜的背景環(huán)境下，球進(jìn)入人的視野，被視網(wǎng)膜捕捉到后，經(jīng)視覺通路發(fā)送到大腦處理視覺信息的腦區(qū)，進(jìn)行更加徹底的圖像分析。同時視皮層與其他腦區(qū)協(xié)作，判斷物體的種類，預(yù)測它的行進(jìn)軌跡，最終通過傳出神經(jīng)控制肌肉的運(yùn)動，決定人的下一步行動：舉起雙手、接住球。上述過程只在零點(diǎn)幾秒內(nèi)發(fā)生，幾乎完全是下意識的行為，也很少會出差錯。
為了讓計(jì)算機(jī)模仿這一過程，首先需要讓計(jì)算機(jī)做到像人類那樣“看”，尤其是在嘈雜背景下像人類那樣快速準(zhǔn)確地“看”，成為了近年來視覺感知這一研究領(lǐng)域備受關(guān)注的關(guān)鍵問題之一。

近年來，基于梯度反向傳播的脈沖神經(jīng)網(wǎng)絡(luò)（SNN）訓(xùn)練方法逐漸興起。在這種訓(xùn)練方法下，SNN能夠在保留神經(jīng)元內(nèi)部動力學(xué)的同時獲得較好的性能。
在此基礎(chǔ)上，自動化所聽覺模型與認(rèn)知計(jì)算團(tuán)隊(duì)模仿刻畫視聽覺系統(tǒng)神經(jīng)元側(cè)向作用的數(shù)學(xué)模型動態(tài)神經(jīng)場，提出了具有側(cè)向作用的SNN——LISNN，用于圖像識別任務(wù)。并且在測試中，根據(jù)側(cè)向作用的動力學(xué)特點(diǎn)，人為加入噪聲以驗(yàn)證側(cè)向作用對網(wǎng)絡(luò)魯棒性的提升。
在生物神經(jīng)系統(tǒng)的感受器中存在著臨近神經(jīng)元間的相互抑制和相互激勵。其中，側(cè)向抑制最初為解釋馬赫帶效應(yīng)而提出，即人們在明暗變化邊界上常常會在亮處看到一條更亮的光帶而在暗區(qū)看到一條更暗的線條（見圖1）。這種側(cè)向作用后來在鱟、貓等多種動物的不同感覺系統(tǒng)中被證實(shí)并應(yīng)用在仿生的計(jì)算模型中。 

圖1. 馬赫帶效應(yīng)示意（圖引wiki）

LISNN的結(jié)構(gòu)如圖2所示，前端是兩層具有卷積感受野的脈沖神經(jīng)元層，每層后面有一層平均池化層，后端是兩層全連接的脈沖神經(jīng)元層。具有卷積感受野的脈沖神經(jīng)元在模型中承擔(dān)特征提取的功能，類似于感受器的作用，因此只在這層結(jié)構(gòu)中使用側(cè)向作用。在側(cè)向作用機(jī)制下，每個脈沖神經(jīng)元的膜電位都額外受鄰域內(nèi)的其他神經(jīng)元上一時刻狀態(tài)的影響。在目前已有的使用側(cè)向作用的計(jì)算模型中，側(cè)向作用系數(shù)往往是固定的和神經(jīng)元間距離相關(guān)的函數(shù)，而LISNN中的側(cè)向作用系數(shù)則可以通過反向傳播進(jìn)行學(xué)習(xí)。


圖2 LISNN模型結(jié)構(gòu)示意圖
該研究工作分別在靜態(tài)數(shù)據(jù)集MNIST與Fashion MNIST、動態(tài)數(shù)據(jù)集N-MNIST上對LISNN的性能進(jìn)行了驗(yàn)證。輸入數(shù)據(jù)以特定方式編碼為一定長度的脈沖序列，每個時刻的序列規(guī)模與原圖像（或事件點(diǎn)坐標(biāo)范圍）相同。模型在MNIST和N-MNIST數(shù)據(jù)集上均取得了和已有最好性能相近的結(jié)果；在Fashion-MNIST數(shù)據(jù)集上則取得了SNN中的最好性能。本模型與已發(fā)表模型的性能對比見表1-3。


除此之外，團(tuán)隊(duì)還選擇在MNIST和Fashion MNIST的測試集中加入不同水平的高斯噪聲和脈沖噪聲，以進(jìn)一步測試側(cè)向作用對網(wǎng)絡(luò)魯棒性的提升。圖3展示了部分原始圖片和加噪后的圖片。

圖3 （a）三行依次為原始MNIST測試集圖片、加入高斯噪聲后的圖片、加入脈沖噪聲后的圖片
（b）三行依次為原始Fashion MNIST測試集圖片、加入高斯噪聲后的圖片、加入脈沖噪聲后的圖片
圖4中，灰線和藍(lán)線分別代表LISNN和沒有側(cè)向作用的SNN在添加了高斯噪聲的測試集上的準(zhǔn)確率；黃線和橙線分別代表LISNN和沒有側(cè)向作用的SNN在添加了脈沖噪聲的測試集上的準(zhǔn)確率。在大部分情況下，LISNN的性能損失都小于沒有側(cè)向作用的SNN，尤其是在訓(xùn)練集中沒有添加噪聲數(shù)據(jù)的情況下。




圖4 （a）模型在無噪聲的MNIST訓(xùn)練集上訓(xùn)練。（b）模型在無噪聲的Fashion MNIST訓(xùn)練集上訓(xùn)練
（c）模型在有高斯噪聲的MNIST訓(xùn)練集上訓(xùn)練。（d）模型在有高斯噪聲的Fashion MNIST訓(xùn)練集上訓(xùn)練

與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法相比，所提算法能取得較好的性能并自然地實(shí)現(xiàn)對噪聲干擾的抗性，具有一定理論研究價值和工程實(shí)用價值。