【導讀】在英飛凌，我們一直堅信卓越的音頻解決方案對于提升消費類(lèi)設備的用戶(hù)體驗至關(guān)重要。我們堅定不移地致力于創(chuàng )新，在主動(dòng)降噪、語(yǔ)音透傳、錄音室錄音、音頻變焦和其他相關(guān)技術(shù)方面取得了顯著(zhù)進(jìn)步，對此我們深感自豪。作為MEMS麥克風(fēng)的領(lǐng)先供應商，英飛凌集中資源改善MEMS麥克風(fēng)的音頻質(zhì)量，為T(mén)WS和耳罩式耳機、筆記本電腦、平板電腦、會(huì )議系統、智能手機、智能音箱、助聽(tīng)器甚至汽車(chē)等各種消費設備帶來(lái)卓越體驗。
導言
在英飛凌，我們一直堅信卓越的音頻解決方案對于提升消費類(lèi)設備的用戶(hù)體驗至關(guān)重要。我們堅定不移地致力于創(chuàng )新，在主動(dòng)降噪、語(yǔ)音透傳、錄音室錄音、音頻變焦和其他相關(guān)技術(shù)方面取得了顯著(zhù)進(jìn)步，對此我們深感自豪。作為MEMS麥克風(fēng)的領(lǐng)先供應商，英飛凌集中資源改善MEMS麥克風(fēng)的音頻質(zhì)量，為T(mén)WS和耳罩式耳機、筆記本電腦、平板電腦、會(huì )議系統、智能手機、智能音箱、助聽(tīng)器甚至汽車(chē)等各種消費設備帶來(lái)卓越體驗。
今天，我們生活在一個(gè)激動(dòng)人心的時(shí)代，人工智能正在徹底改變日常生活，而ChatGPT等工具正在通過(guò)直觀(guān)的文本和語(yǔ)音交互重新定義工作效率。隨著(zhù)人工智能系統的不斷進(jìn)步，傳統的商業(yè)模式、信仰和假設正在受到挑戰。語(yǔ)音在新興的人工智能生態(tài)系統中扮演什么角色？作為企業(yè)領(lǐng)導者，我們是否需要重新思考我們的信念？ 生成式人工智能的興起是否會(huì )降低高質(zhì)量語(yǔ)音輸入的重要性，或者高質(zhì)量語(yǔ)音輸入是否會(huì )成為廣泛采用人工智能服務(wù)和個(gè)人助理的必要條件？
人工智能，從得力助手到最好的朋友
人類(lèi)不僅會(huì )根據問(wèn)題的內容，也會(huì )根據提問(wèn)的形式調整自己的回答，這是很自然的事情。人類(lèi)的聲音提供了各種線(xiàn)索，可用來(lái)判斷提問(wèn)者的年齡、性別、社會(huì )和文化背景以及情緒狀態(tài)。此外，識別所處的環(huán)境（如機場(chǎng)、辦公室、交通或跑步等體育活動(dòng)）也有助于確定提問(wèn)者的意圖，并相應地調整答案并更好的對話(huà)。
盡管人工智能的能力有了長(cháng)足的進(jìn)步，但人們仍然認為，基于人工智能的輔助工具缺乏正確預測人類(lèi)提問(wèn)意圖或特定信息將如何被解讀的能力。為了改善人機交互，人工智能在做出修辭選擇時(shí)應考慮三個(gè)關(guān)鍵因素：對聽(tīng)者的了解、聽(tīng)者的情緒狀態(tài)和環(huán)境背景。
在許多情況下，僅憑接收到的音頻信號就足以提取有用的信息并做出適當的反應。例如，考慮一下與素未謀面的人進(jìn)行電話(huà)或音頻會(huì )議的情況。更重要的是，考慮一下在沒(méi)有機會(huì )當面交流的情況下，一個(gè)人在反復交談后對另一個(gè)人的感知是如何發(fā)展和變化的。
最近的研究表明，即使人工智能的語(yǔ)言反應風(fēng)格發(fā)生微小的變化，也會(huì )導致人工智能的社交能力和個(gè)性發(fā)生明顯變化。我們有理由假設，在適當的聲音輸入水平下，未來(lái)的人工智能系統將能夠作為有效的伙伴發(fā)揮作用，表現出人類(lèi)朋友的行為，例如詢(xún)問(wèn)并真正傾聽(tīng)答案，或者只是傾聽(tīng)并在適當的時(shí)候保留判斷。
人類(lèi)如何體驗音頻信號？
與任何語(yǔ)言交流一樣，音頻信息也使用語(yǔ)言和文字來(lái)傳達思想、情感和觀(guān)點(diǎn)。此外，音調、速度、音量和背景噪音等其他交流元素也會(huì )影響對信息的整體感知。
從科學(xué)的角度來(lái)看，人耳基于兩個(gè)關(guān)鍵因素來(lái)感知音頻信號：頻率和聲壓級。聲壓級（SPL）以分貝（dBSPL）為單位，表示圍繞環(huán)境大氣壓振蕩的聲壓幅度。100dBSPL的聲壓級相當于割草機或直升機發(fā)出的巨大噪音。聲壓級范圍內的最低點(diǎn)（0dB）等效于20μPa的聲壓振蕩，這代表具有最佳聽(tīng)力的健康年輕人在1kHz頻率下的聽(tīng)力閾值。所有與語(yǔ)言有關(guān)的人類(lèi)聲音都屬于100Hz至8kHz的頻段。根據ISO 226:2023 標準，相應的人類(lèi)聽(tīng)力閾值如圖1所示。
圖1:聽(tīng)力閾值：根據ISO 226:2023，人在重復試驗中做出 50%正確檢測反應的聲級
如圖1所示人耳對 500Hz至6kHz 范圍內的頻率特別敏感。這些頻率上的任何頻率平衡問(wèn)題都會(huì )對聲音和樂(lè )器的感知質(zhì)量產(chǎn)生重大影響。500Hz至4kHz 之間的頻率包含了人類(lèi)語(yǔ)音中影響語(yǔ)音清晰度的大部分信息。具體來(lái)說(shuō)，2 kHz 左右的頻率尤為重要。5kHz至10kHz 的頻率對音樂(lè )非常重要。這些頻率為聲音增添了 "活力 "和 "亮度"。然而，這些頻率包含的語(yǔ)音信息相對較少，只有咝聲，即 "zhi"、"chi"和 "shi"等詞開(kāi)頭的嘶嘶聲。降低 6-8kHz左右的咝聲會(huì )對語(yǔ)音清晰度產(chǎn)生不利影響。
我們大多數人都知道，人類(lèi)的聽(tīng)力閾值會(huì )隨著(zhù)年齡的增長(cháng)而下降，如圖 2 所示。
圖 2: 該圖顯示了不同年齡段本體正常的男性在單聲道耳機聆聽(tīng)條件下的聽(tīng)閾衰減情況。請注意，女性也有類(lèi)似的圖表，其聽(tīng)力衰減程度隨年齡增長(cháng)而略有降低（ISO7029:2017）
值得注意的是，即使是輕度聽(tīng)力損失（大多數人的聽(tīng)力損失發(fā)生在40至50歲之間）也會(huì )對個(gè)人生活產(chǎn)生重大影響。例如，患有輕度聽(tīng)力損失的人在嘈雜的環(huán)境中跟不上集體談話(huà)可能會(huì )遇到困難。此外，他們還可能錯過(guò)重要的聽(tīng)覺(jué)提示，如警告信號或警報。
目前的音頻硬件是否足以滿(mǎn)足未來(lái)人工智能的需要？
既然我們已經(jīng)對人類(lèi)如何感知音頻信號有了更好的了解，那么讓我們重新審視一下最初的問(wèn)題，即當前和未來(lái)的人工智能需要什么樣的音頻輸入質(zhì)量，才能達到與人類(lèi)無(wú)異的水平。
目前市場(chǎng)上的大多數消費類(lèi)設備都使用MEMS麥克風(fēng)記錄音頻信號。MEMS 麥克風(fēng)是人工智能個(gè)人助理的主要音頻捕捉技術(shù)，使用人工智能助理技術(shù)的設備目前已開(kāi)始在市場(chǎng)上銷(xiāo)售。
MEMS 麥克風(fēng)的錄音質(zhì)量取決于其動(dòng)態(tài)范圍（dynamic range）。動(dòng)態(tài)范圍的上限由聲學(xué)過(guò)載點(diǎn) (AOP) 確定，它定義了麥克風(fēng)在高聲壓級時(shí)的失真性能。麥克風(fēng)的自噪聲確定了其動(dòng)態(tài)范圍的下限。衡量麥克風(fēng)自噪聲的方法是信噪比(SNR)，它定義了麥克風(fēng)的自噪聲與其捕獲的信號(靈敏度)之間的比率。不過(guò)，就我們的討論而言，信噪比有些不合適，因為信噪比的自噪聲使用了A計權（A-weighting），而A計權其實(shí)是基于人類(lèi)感知音頻信號的能力來(lái)定義的。
如果音頻信號的預期接收者是人工智能，則相關(guān)的麥克風(fēng)的等效噪聲級ENL（equivalent noise level）是衡量性能的更合適參數，因為它忽略了錄制聲音的人類(lèi)感知因素。等效噪聲級ENL指的是在沒(méi)有外部聲源的情況下麥克風(fēng)產(chǎn)生的信號。等效噪聲級ENL以分貝（dBSPL）為單位，表示與麥克風(fēng)自噪聲相同電壓的聲壓級。
值得注意的是，無(wú)論后期采用何種聲音處理方法，低于等效噪聲級ENL的任何聲音信息基本上都會(huì )丟失，無(wú)法恢復。因此，如果音頻鏈路中沒(méi)有其他元件在信號到達人工智能算法之前引入噪音，麥克風(fēng)ENL就可以被視為人工智能算法的聽(tīng)覺(jué)閾值。應該注意的是，這是一個(gè)高度簡(jiǎn)化的假設，因為音頻鏈中通常還有許多其他組件，包括聲道、防水保護膜和音頻處理鏈路。
請參考圖 3兩種MEMS麥克風(fēng)等效噪聲級ENL曲線(xiàn)與人類(lèi)聽(tīng)力閾值的直觀(guān)對比。
圖 3:中端和高端MEMS麥克風(fēng)的1/3倍頻程等效噪聲級ENL與典型男性聽(tīng)力閾值的比較
紅色線(xiàn)條的是信噪比為65dB(A)的麥克風(fēng)的等效噪聲級ENL曲線(xiàn)，麥克風(fēng)集成了防塵設計。相應的MEMS麥克風(fēng)目前已用于多家供應商生產(chǎn)的多款高端智能手機中。
下面的紫色線(xiàn)條表示英飛凌最新高端數字麥克風(fēng)的等效噪聲級ENL曲線(xiàn)，該麥克風(fēng)具有創(chuàng )新的防護設計，可實(shí)現防塵防水效果。這款麥克風(fēng)代表了當前的技術(shù)水平，今年才在高端平板電腦上發(fā)布。我們預計，到今年年底，性能相當的麥克風(fēng)將出現在高端智能手機上。值得注意的是，將麥克風(fēng)的自噪聲降低 5-10dB是一項重大成就，特別是考慮到聲壓是使用對數刻度來(lái)表示的。
雖然英飛凌在降低高端MEMS麥克風(fēng)的自噪聲方面取得了顯著(zhù)進(jìn)展，但與人耳相比，麥克風(fēng)在辨別低聲壓級的能力方面仍有很大差距。尤其是2kHz附近，對于確保人類(lèi)聽(tīng)眾獲得高水平的聲音清晰度至關(guān)重要。年輕人的聽(tīng)覺(jué)能力與英飛凌最先進(jìn)的麥克風(fēng)之間的差距超過(guò)12dBSPL。與目前高端手機中使用的麥克風(fēng)相比，差距明顯更大，達到17dBSPL。需要再次指出的是，這一評估僅考慮了MEMS麥克風(fēng)的自噪聲，并未考慮音頻鏈中會(huì )進(jìn)一步降低整體性能的額外噪聲源。
目前MEMS麥克風(fēng)技術(shù)的局限性在包含大部分人類(lèi)語(yǔ)音信息的頻率范圍（500Hz - 4kHz）內最為明顯。即使是市場(chǎng)上最先進(jìn)的MEMS麥克風(fēng)，其聲音理解能力也只能達到60歲老人的水平。根據現有數據，可以合理地預計，使用最新MEMS麥克風(fēng)技術(shù)的人工智能虛擬助手將出現與老年人類(lèi)似的聽(tīng)力障礙，特別是在需要在嘈雜環(huán)境中或遠距離跟讀對話(huà)的情況下。
總結與展望
人工智能的飛速發(fā)展不僅不會(huì )減緩，反而會(huì )加速MEMS麥克風(fēng)向更高信噪比發(fā)展的趨勢。雖然最新的MEMS麥克風(fēng)還無(wú)法與人耳的音頻質(zhì)量相媲美，但英飛凌在降低麥克風(fēng)自噪聲方面取得的進(jìn)展有利于現有和未來(lái)的人工智能。進(jìn)一步改進(jìn)音頻鏈路將是增強人工智能能力的關(guān)鍵，例如周?chē)h(huán)境分辨、語(yǔ)境理解、情感意識、說(shuō)話(huà)者識別和多人對話(huà)記錄。有了更好的音頻輸入，人工智能與人類(lèi)的互動(dòng)方式將能與人類(lèi)之間的互動(dòng)相匹配，甚至不相上下。
此外，人機交互水平的提高將促成新的基于人工智能的用例和服務(wù)。例如，想象一下未來(lái)的微軟Copilot，它不僅能總結團隊會(huì )議內容，還能提供對交談氛圍的整體評估。未來(lái)的人工智能輔助功能或許可以基于人類(lèi)的語(yǔ)音和音頻，突出顯示重點(diǎn)或按照重要性進(jìn)行排序。此外，還可以添加輔導功能，為用戶(hù)提供有用的建議，幫助他們更好地將未來(lái)的對話(huà)引向所需的方向。
試想一下，人工智能可以對新的求職者進(jìn)行第一輪面試，或者僅憑音頻就能識別說(shuō)話(huà)者，其安全級別足以滿(mǎn)足網(wǎng)上購物的需要。
所有這些可能只是未來(lái)人工智能的一小部分，未來(lái)人工智能的聽(tīng)力能力將達到或超過(guò)人類(lèi)。憑借我們的增強型 MEMS麥克風(fēng)解決方案，英飛凌很榮幸能夠參與這一激動(dòng)人心的旅程。
（作者：Gunar Lorenz博士 英飛凌科技技術(shù)市場(chǎng)高級總監，校對：丁越 英飛凌科技消費、計算與通訊業(yè)務(wù)大中華區 首席工程師）
免責聲明：本文為轉載文章，轉載此文目的在于傳遞更多信息，版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問(wèn)題，請聯(lián)系小編進(jìn)行處理。
推薦閱讀：
AMTS & AHTE South China 2024圓滿(mǎn)落幕 持續發(fā)力探求創(chuàng )新，攜手并進(jìn)再踏新征程！
韌性與創(chuàng )新并存，2024 IIC創(chuàng )實(shí)技術(shù)再獲獎分享供應鏈挑戰下的自我成長(cháng)
