AI助中風失語者重新“開口”說話

20年前，在安·約翰遜自己的婚宴上，她的演講天賦表現得淋漓盡致。她在洋洋灑灑長達15分鐘的祝酒詞中開玩笑說，自己匆匆忙忙結了婚，搞不清婚禮流程單上的長笛手一詞應該寫為“flutist”還是“flautist”（分別是美式英語和英式英語——本網注），她還承認自己是“麥霸”。

僅僅兩年后，30歲的安（當時她是老師、教練和一個嬰兒的母親）突發中風，因此癱瘓失語。

將腦信號轉化為語言

科學家們8月23日報告說，他們在幫助安和其他患者再次說話方面取得顯著進展。這是神經科學和人工智能（AI）發展的里程碑。當安默默地設法說話時，植入大腦的電極開始解碼她的腦信號。人工智能技術把她的腦信號轉換成書面語言和發聲語言，使她的數字化身能夠發聲、微笑，還能做出噘嘴和其他表情。

專家稱，在英國《自然》周刊上發表的這項研究，首次顯示腦信號直接合成口語和面部表情。安選擇的數字化身面孔和她本人很像，研究人員基于她的婚禮致詞開發出數字化身的聲音。

研究團隊負責人、加利福尼亞大學舊金山分校神經外科主任張復倫博士說：“我們想做的就是恢復人們的身份。”

現年47歲的安在寫給記者的信中說：“這讓我覺得自己又是一個完整的人了。”

這項技術的目的是幫助那些因為中風或腦癱、肌萎縮性脊髓側索硬化癥等疾病而不能說話的人。植入裝置必須通過線纜把患者的腦部與計算機連接，但該研究團隊正在開發無線版本。研究人員希望，失語者最終可以通過計算機化的本人形象實時傳達語氣、語調以及喜悅和憤怒等情緒。

密歇根大學神經外科醫生、生物醫學工程師帕拉格·帕蒂爾博士說：“讓人特別興奮的是，僅僅從大腦表面，研究者就能獲得有關這些不同溝通特征的很好信息。”

“聽到和自己很像的聲音”

安的經歷反映了這一領域的突飛猛進。就在兩年前，該研究團隊還發表了一項研究：一個綽號為“潘喬”的癱瘓男子通過更簡單的植入裝置和算法說出了50個基本單詞，包括“你好”和“餓”等，并在電腦屏幕上通過文字顯示出來。

安使用的植入裝置的電極數量比潘喬多近一倍，增強了其檢測來自與口腔、嘴唇、頜部、舌頭和喉部相關的感覺和運動過程中的大腦信號的能力。研究人員訓練復雜的人工智能來識別的不是單個單詞，而是音素，或者像“ow”和“ah”這些最終可以形成任何單詞的聲音單位。

“這就像語音的字母表。”該項目經理戴維·摩西說。

潘喬使用的系統每分鐘產生15到18個單詞，安使用的系統則是78個，用的詞匯表比前者大得多。人們正常交談，每分鐘大約會說160個單詞。

摩西表示，當研究人員開始與安合作時，他們并沒有想到要嘗試數字化身或音頻。但這個令人鼓舞的結果“給我們開了一個巨大的綠燈，‘好吧，咱們來試試更難的事情，努努力’”。

該研究的主要作者之一、加利福尼亞大學伯克利分校的研究生凱洛·利特爾約恩和摩西、肖恩·梅茨格、亞歷克斯·席爾瓦、瑪格麗特·西頓表示，他們編寫了一種算法，把大腦活動解碼為音頻波形，從而產生有聲的話語。

利特爾約恩說：“話語有很多信息，僅靠文本無法很好地保存，比如語音、語調和表情。”

研究人員與一家制作面部動畫的公司合作，用肌肉運動數據為安的數字化身編程。隨后，安嘗試用面部表情來表達快樂、悲傷和驚訝，每個表情都包括高、中、低強度。她還試圖讓頜部、舌頭和嘴唇做出各種動作。這些解碼的腦信號傳到數字化身的面部。

安通過數字化身說：“我覺得你很棒。你覺得我的人造聲音怎么樣？”

她對研究人員說：“聽到跟自己很像的聲音，這讓人百感交集。”

她甚至和在郵政部門工作的丈夫威廉·約翰遜聊起了天。她通過數字化身說：“別逗我笑。”威廉問她認為多倫多藍鳥棒球隊有多大機會獲勝。她回答說：“一切皆有可能。”

“會說話的化身剛剛起步”

這一領域的進展如此之快，以至于專家認為聯邦政府批準的無線版本可能會在未來十年內問世。對某些患者來說，多種不同的治療方法可能才是最佳方案。

斯坦福大學神經外科教授、研究團隊負責人杰米·亨德森博士說，《自然》周刊8月23日也發表了他們團隊的研究，涉及在大腦更深處植入電極，檢測單個神經元的活動。

亨德森從事這一研究的動力來自童年的經歷。一次意外后，他的父親失去了說話的能力。

亨德森說，他們團隊的方法可能更精確，但不太穩定，因為特定神經元的放電模式可能發生改變。

他們設計的系統以每分鐘62個單詞的速度解碼。實驗參與者、67歲的帕特·貝內特從一個很大的詞匯表里選取單詞說話。她患有肌萎縮性脊髓側索硬化癥。這項研究不包括數字化身或聲音解碼。

兩項研究都使用了預測性語言模型來幫助猜測句子中的單詞。俄勒岡衛生科學大學有聲語言輔助技術專家梅拉妮·弗雷德奧肯說，這些系統不僅能匹配單詞，而且在提高對參與者神經活動的識別能力時，還能“發現新的語言模式”。

這兩種方法都不完全準確。在使用大型詞匯集時，它們錯誤解碼的單詞約占1/4。

例如，當安試圖說“也許我們失去了它們（Maybe we lost them）”時，系統會解碼為“也許我們是那個名字（Maybe we that name）”。但在她說的近一半句子中，系統正確解讀了每一個單詞。

研究人員發現，在一個眾包平臺上，人們大多數時候都能正確解讀數字化身的面部表情。但解讀聲音所說的內容更加困難，因此該研究團隊正在開發一種預測算法來改善這種情況。張復倫說：“我們會說話的化身才剛剛起步。”

專家強調，這些系統不是在解讀人們的思想或念頭。帕蒂爾說，它們與棒球擊球手相似，“不是解讀投球手的想法，而是解讀投球手的動作”來預測投球。

盡管如此，弗雷德奧肯說，讀心術最終有可能實現，從而引發倫理和隱私問題。

執著參與實驗項目

2021年，安聯系了張復倫，就在她丈夫向她展示了關于潘喬（研究人員幫助過的癱瘓男子）的文章的第二天。張復倫說，他最初曾勸阻過她，因為她住在加拿大薩斯喀徹溫省，離他在舊金山的實驗室太遠，但“她很執著”。

安的丈夫威廉今年48歲，他給自己安排了兼職工作。“安一直支持我去做我想做的事。”威廉說，包括領導當地的郵政工會，“所以我覺得能在這件事情上支持她很重要”。

安從去年9月開始參與這個項目。他們乘坐一輛裝滿設備的面包車前往加利福尼亞州，其中包括一部用來在輪椅和床之間搬運她的升降機，路上需要三天時間。

約翰遜夫婦在當地租了一間公寓，對安來說，研究人員在那里進行實驗會讓她方便一些。他們在網上和社區籌集資金，用于支付這項將持續多年的研究的旅費和房租。他們在加利福尼亞度過了數周時間，在研究的間隙返回家里。

威廉說：“如果她能每周7天、每天10小時參與實驗，她就會這么做。”

安天生就是一個有決心的人。他倆開始約會時，安給威廉18個月的時間求婚。威廉說，他在“滿18個月的那天”向安求婚了，當時她“已經去選好了訂婚戒指”。

安用電子郵件與記者溝通，她在家里利用較為初級的輔助系統寫這些郵件。她戴的眼鏡上有個反光點，她把反光點對準電腦屏幕上的字母和單詞。

這種方式速度很慢，每分鐘只能生成14個單詞，但比她在家唯一能用的溝通方式要快：一塊塑料字母板。威廉說，這種方法就是“她設法向我展示她試圖看哪個字母，然后我設法弄清楚她想說什么”。

無法自由順暢地交談使他們沮喪。在討論具體問題時，威廉有時會說點什么，第二天會收到她的電郵回復。

“安在生活里一直特別能說，外向，愛社交。我不是這樣。”威廉說，“但中風使我倆的角色發生反轉，現在我反倒成了能說的那個。”

安以前在高中教數學、健康和體育課，還擔任了排球和籃球教練。有次打排球前做熱身活動時，她腦干中風了。威廉說，安在醫院和療養院住了一年后才回家，回到10歲的繼子和23個月大的女兒身邊。現在，他們的女兒已經長大成人，完全不記得母親說過話。

安寫道：“我不能擁抱和親吻孩子，這太痛苦了，但這就是我的現實。最致命的打擊是，我被告知我不能再生孩子了。”

中風五年后，她陷入恐懼。她寫道：“我覺得自己隨時會死。我腦子里還能動的那部分知道我需要幫助，但我怎么跟別人溝通呢？”

重新找到生活希望

漸漸地，她的頑強重新浮出水面。她寫道，最初，“我的面部肌肉根本沒用”，但大約五年后，她可以想笑就笑了。

安有十年時間完全依靠管飼喂養，但她后來決定要試試固體食物。她對自己說：“如果我死了，那就這樣吧。我開始吸食巧克力。”她接受了吞咽治療，現在可以吃細碎或柔軟的食物。她寫道：“我和女兒都喜歡紙杯蛋糕。”

2018年，安得知薩斯喀徹溫省發生的一起致命車禍需要創傷顧問后，她決定參加在線大學的心理咨詢課。

“我的計算機技能極低，而且身為一個偏愛數學和科學的人，想到要寫論文我就害怕。”她在一份課堂報告中寫道，“與此同時，我的女兒在九年級時診斷出患有殘疾，病情還在發展。我決心克服恐懼，讓她知道殘疾未必就能阻擋我們或者讓我們放慢腳步。”

幫助創傷幸存者仍是安的目標。她對張復倫的團隊說：“我最大的夢想是成為創傷顧問，我想利用這項技術和我的客戶交談。”

她寫道，她剛開始用數字化身表達情感時“感覺很傻，但我喜歡這種感覺，就像自己又有了一張表情豐富的臉”。她還說，這些練習還讓她的額頭左側第一次能動了。

她還有別的收獲。她寫道，中風后，“當我失去一切時，那種感覺太痛苦了。我告訴自己，我再也不會讓自己陷入那種失望之中了”。

現在，她寫道：“感覺自己又有了一份工作。”

此外，這項技術讓她想象自己置身于《星球大戰》。“我已經習慣了腦洞大開。”（編譯/趙菲菲）