隨著在COVID-19疫情封鎖期間會(huì)議轉(zhuǎn)移到網(wǎng)上，許多人發(fā)現(xiàn)，嘰嘰喳喳的室友、垃圾車(chē)和其他響亮的雜音會(huì)打斷了重要的對(duì)話。這經(jīng)歷啟發(fā)了華盛頓大學(xué)的三位研究人員（他們?cè)贑OVID-19期間是室友）研發(fā)出了更好的耳塞，為了增強(qiáng)說(shuō)話人的聲音和減少背景噪音，“ClearBuds”使用了一種新的麥克風(fēng)系統(tǒng)和第一個(gè)實(shí)時(shí)操作的機(jī)器學(xué)習(xí)系統(tǒng)，該系統(tǒng)可以在智能手機(jī)上運(yùn)行。

研究人員于6月30日在ACM移動(dòng)系統(tǒng)、應(yīng)用和服務(wù)國(guó)際會(huì)議上介紹了這個(gè)項(xiàng)目。

“ClearBuds在兩個(gè)關(guān)鍵方面區(qū)別于其他無(wú)線耳機(jī)，”P(pán)aul G. Allen（保羅·艾倫）計(jì)算機(jī)科學(xué)與工程學(xué)院的博士生Maruchi Kim說(shuō)。首先，ClearBuds使用了雙麥克風(fēng)陣列，每個(gè)耳塞上的麥克風(fēng)可以產(chǎn)生兩個(gè)同步的音頻流，提供信息，并允許我們?cè)诳臻g上以更高的分辨率分離來(lái)自不同方向的聲音。其次，輕量級(jí)的神經(jīng)網(wǎng)絡(luò)進(jìn)一步增強(qiáng)了說(shuō)話人的聲音?！?/p>

雖然大多數(shù)商業(yè)耳塞也在每個(gè)耳塞上都有麥克風(fēng)，但只有一個(gè)耳塞在同一時(shí)間主動(dòng)向手機(jī)發(fā)送音頻。使用ClearBuds耳機(jī)，每個(gè)耳塞都會(huì)向手機(jī)發(fā)送一串音頻，研究人員設(shè)計(jì)了藍(lán)牙網(wǎng)絡(luò)協(xié)議，允許這些數(shù)據(jù)流在70微秒內(nèi)同步。

該團(tuán)隊(duì)的神經(jīng)網(wǎng)絡(luò)算法在手機(jī)上運(yùn)行來(lái)處理音頻流。首先，它會(huì)抑制任何非語(yǔ)音的聲音，然后它會(huì)隔離并增強(qiáng)同時(shí)從兩個(gè)耳塞揚(yáng)聲器的聲音——傳入的任何噪音。

Allen School的博士生Ishan Chatterjee說(shuō)：“因?yàn)檎f(shuō)話者的聲音與兩個(gè)耳塞的距離很近，而且距離大致相等，所以神經(jīng)網(wǎng)絡(luò)可以訓(xùn)練成只關(guān)注他們的聲音，消除包括其他聲音在內(nèi)的背景聲音，這種方法和你自己耳朵的工作原理非常相似，它們利用聲音到達(dá)你左右耳朵的時(shí)間差來(lái)判斷聲音來(lái)自哪個(gè)方向?！?/p>

當(dāng)研究人員將 ClearBuds 與蘋(píng)果的AirPods Pro 進(jìn)行比較時(shí)，ClearBuds 表現(xiàn)更好，在所有測(cè)試中實(shí)現(xiàn)了更高的信號(hào)失真比。

”Allen School的博士生Vivek Jayaram說(shuō)：“當(dāng)你考慮到我們的神經(jīng)網(wǎng)絡(luò)在iPhone上運(yùn)行不到20毫秒這一事實(shí)時(shí)，這是非常了不起的，與通常用于運(yùn)行神經(jīng)網(wǎng)絡(luò)的大型商業(yè)顯卡相比，iPhone的計(jì)算能力只是一個(gè)小部分，我們?nèi)绾卧诒３州敵鲑|(zhì)量的同時(shí)減少傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的大??？這是我們?cè)谶@篇論文中必須解決的挑戰(zhàn)的一部分。

研究小組還在“野外”對(duì)ClearBuds進(jìn)行了測(cè)試，他們記錄了8個(gè)人在嘈雜的環(huán)境中閱讀“古登堡計(jì)劃”，比如在咖啡店或繁忙的街道上。然后，研究人員讓37人對(duì)這些10到60秒的錄音片段進(jìn)行打分，參與打分者認(rèn)為通過(guò)ClearBuds的神經(jīng)網(wǎng)絡(luò)處理的片段具有最好的噪音抑制和最好的整體聆聽(tīng)體驗(yàn)。

研究人員說(shuō)，ClearBuds的一個(gè)限制是人們必須同時(shí)戴上兩種耳塞才能獲得噪音抑制的體驗(yàn)。

但該團(tuán)隊(duì)表示，這里開(kāi)發(fā)的實(shí)時(shí)通信系統(tǒng)可以用于各種其他應(yīng)用，包括智能家居揚(yáng)聲器、跟蹤機(jī)器人位置或搜索和救援任務(wù)。

團(tuán)隊(duì)目前正在努力提高神經(jīng)網(wǎng)絡(luò)算法的效率，以便它們能夠在耳塞上運(yùn)行。