2016年02月18日 星期四 23:57:08

掌握大中華市場脈動.亞洲專業華文生技產業月刊

讀心術即將成真? 人工智慧成功將大腦神經訊號轉化為語音訊息

薛瀹熢 編譯

破解神經訊號 人工智慧將大腦活動轉化為語音 (圖片來源: 網路)

破解神經訊號 人工智慧成功將大腦活動轉化為語音訊息 (圖片來源: 網路)

對於那些因為癱瘓而導致無法開口說話的人,千思萬緒都只能隱藏在他們的腦海的神經訊號之中,以前從未有人能夠破解人腦中的神經訊息,將之直接轉換為人類可以理解的語言,然而近日三個研究團隊於此有了進展,他們使用神經網路等人工智慧計算模型,成功在某些情況將神經訊號重建為單詞和句子,將腦中的生物電子訊息成功轉換為人類可以理解的語言。

有些人因為中風、疾病等原因喪失了說話的能力,目前,因為癱瘓而無法行動的人們可以利用眼睛,或是身體其他部位的移動來控制游標,或是選擇螢幕上的句子來選出想說的話(如史帝芬 霍金)。然而想像一下,假如電腦可以更直接的與大腦互動,解讀出腦中的訊息,模仿音調,或是流暢的與人對話,這樣的場景對有需要的人可能有多少幫助。

發表於bioRxiv的論文中指出,目前所重建出的語音還不是複雜的對話或是心裡所想的訊息,而是透過監控朗讀、默讀,或是收聽紀錄檔時的腦部活動,再重構這些訊息。

雖然離達到目標的門檻仍然很遙遠,「我們努力透過分析不同神經元再度同時間點的開關來轉換其中的語言。」哥倫比亞大學的電腦科學家Nima Mesgarani表示。「要建構出神經與神經之間如何互動並不簡單。」每個人腦中的神經訊號都不盡相同,因此電腦必須「客製化」每一個人的資訊。這些模型需要使用非常精確的數據,因此,隔著頭蓋骨是不行的。

有機會接觸打開頭蓋骨大腦的機會是非常稀少的,其中一個就是趁著進行腦部腫瘤移除手術時。外接的電子儀器可以幫助醫生避免傷害到腦部的語言或是運動區。另一種是當癲癇患者在手術前植入電極數天,以確定癲癇發作的確切部位。其中一名研究者,Martin說,「我們最多只有20分鐘,或是30分鐘」,可以用於數據收集。「時間真的非常、非常有限。」

置有電極的癲癇患者大腦 (圖片來源: sciencemag)

置有電極的癲癇患者大腦 (圖片來源: sciencemag)

發表論文的團隊將珍貴的資料輸入人工神經網路,並由之處理這些複雜的資料。通過層層虛擬「節點」,電腦一步步調整節點並學習,在實驗中,電腦被給予參與者所說出的聲音,或是聽到的錄音,以及腦部的神經活動。

Mesgarani的研究團隊使用來自五名癲癇患者的資料,分析其聽覺皮層(在聽與說時活化)的神經活動,患者們聽到了記錄,並口述0到9的數字,電腦再透過記錄下的神經活動,重建出口述時的內容。由電腦所重建出的語音經過人耳的測試後,約有75%的可分辨率。

來自Mesgarani團隊利用聽到數字時的腦部神經活動所重建出的聲音檔 H. Akbari et al., doi.org/10.1101/350124

另一個來自德國不萊梅大學(University of Bremen in Germany)神經學家Miguel Angrick,以及荷蘭馬斯特里赫特大學(Maastricht University) 的Christian Herff所共同領導的團隊則使用來自腦部腫瘤移除手術病人的資料。有個麥克風負責接收患者所說出的單詞,同時,電極也在腦部語言規劃區和運動區接收資料,這個腦區會送出說話相關的指令。電腦將記錄到的神經活動與聲音紀錄相連結,並建構出從未解析過神經訊號的音訊,根據計算機化評分系統,約有40%的重建語言可受辨識。

來自Herff團隊的檔案,首先播放的是原始聲音檔案,接著是電腦重建出的聲音 M. Angrick et al., doi.org/10.1101/478644 

最後,來自舊金山加州大學的神經外科醫生Edward Chang與其團隊將來自三名癲癇患者語言與運動區的神經訊號,重建為完整的句子,在線上測驗中,166名餐與者聽到了其中一句重建後的話,再從10段文句中選出正確的那一個,有先重建的語音有超過80%的辨識率。團隊甚至利用這些資訊重建那些僅有唇語而未說出聲音的句子。Herff表示,這是很重要的一步「我們離心智語言義肢的完成又更進一步了。」

「我們真正想做的是,這樣的新方法將如何幫助那些無法開口說話的人,」加州聖地牙哥州立大學神經學家Stephanie Riès說,大腦中的神經訊號,在人類腦中的認知與思考也包含了無聲的「聽」與「說」,而這又與感官上的聽與說不同。在缺少了外來聲音作為腦部活動的對照下,電腦要辨別出腦中思緒的開始與結束可能是一件非常困難的事情。

要破解僅存在於思想中的語言可能需要「一大步。」紐約衛生部國家適應神經技術中心神經科技學家Gerwin Schalk表示,「我們仍不清楚到底該怎麼做。」

Herff表示,其中一個方法,可能是利用大腦與電腦之間的互動回饋,要是大腦可以及時聽見電腦的解讀,或許就能根據這些結果調整他們的思緒,幫助神經網路更好的學習,最終雙方在某個時候互相交集。

 

參考資料:

http://www.sciencemag.org/news/2019/01/artificial-intelligence-turns-brain-activity-speech

文章分類 科學要聞

發表迴響

Copyright© 2020 環球生技投資股份有限公司. All rights reserved.

讀者服務電話:(02)2726-1065  時間:週一 ~ 週五 9:00 ~ 18:00

服務信箱:[email protected]

地址:110臺北市信義區松德路161號2樓之3, Taiwan