在物聯網裝置不斷推陳出新的同時，語音智慧助理是不能被忽視的一個重要角色。以智慧家居為例，當玄關、客廳、臥室以及廚房等都佈滿智慧裝置時，一個類似電影鋼鐵人中Jarvis的智慧助理就能讓你更輕鬆地操控各式家電以及完成叫pizza、網購等語音消費行為。但當Siri或Alexa不再只是回答天氣、時間或各式無害的蠢問題，而是執行理應需要先行授權的指令時，有什麼方法可以在越來越複雜的使用情境下，避免家中兒童不經意地訂購了一卡車的玩具？或是防止有心人士用錄音重播的方式啟動你的智慧助理呢？以下將介紹Apple與Google針對語音助理的相關技術以及其專利分析。

在進入接續段落前要先說明的是，本文中強調的操作情境是「動口不動手」，也就是說僅用語音作為啟動以及命令的媒介，優先排除了例如手動輸入密碼等既有的認證方式。

定價129美元的Google的語音助理Google Home具有圓潤的外型，在其官網的介紹影片[1]中，以多元成家的二位爸爸分別向同一個Google Home查詢自己的行事曆來展示支援辨識多使用者的功能。然而現有的聲紋辨識技術應已能辨識不同人的聲音，所以Google申請的US 14/943287這篇專利的技術主體並不是多使用者之辨識，而是有關如何防止未授權者利用例如錄音等方式記錄下裝置擁有者用於裝置解鎖，或是取得授權的熱詞(hotword)後，將聲音重播來通過語音驗證，Google將這行為稱作重播攻擊(replay attack)。

圖1. US Patent No. 14/943287之圖1

圖片來源：USPTO

圖1展示了從系統100偵測到使用者的發聲(utterance; 此處範例為“Ok Computer”) 110後，聲音子系統120接收聲音並處理後丟給熱詞偵測器130，若確定發聲有對應到熱詞則繼續傳遞給聲紋產生器140，接著重播攻擊引擎150會比對產生的聲紋以及熱詞聲紋資料庫中的資料，如果比對結果是相符合的(match)，則鎖住裝置或是維持鎖住狀態，若不相符合則允許執行查詢或指令。

看到這裡可能會覺得奇怪，怎麼會比對符合反而被鎖住呢？主要是因為此技術是比對熱詞的聲紋，而非發聲的聲紋，其判斷邏輯是經比對後如果出現符合的熱詞聲紋則可能就是重播攻擊。

在說明書中有提到其比對方式是經過近似度等分析後，重播攻擊引擎150會產生一個近似度分數(similarity score)，再確定該近似度分數是否滿足預先決定的門檻分數(predetermined threshold score)。而這近似度分數或是門檻分數會隨著熱詞後接續之指令的敏感度而有所調整，舉例來說，詢問行事曆因為涉及個人或是私人資料，所以該指令的敏感度會高於例如詢問天氣，進而降低重播攻擊成功的機率。另外如果藉由環境背景聲判斷熱詞聲紋是在公眾場所或非於信任場所(例如家中)產生的，則該熱詞聲紋會被認為可能是重播攻擊。

在圖2中，“Call Mom”是接續於熱詞“Ok Computer”的指令，所以在方塊214比對的是熱詞與指令是否來自同一使用者，符合的話則執行查詢或指令，這就與前述的重播攻擊比對不同(方塊205)。此外，雖然說明書中並未明確記載，但在多重使用者之辨識的步驟應該是在重播攻擊比對時進行。

圖2. US Patent No. 14/943287之圖2A

圖片來源：USPTO

Google這篇美國專利在2017年5月1號獲證，在審查過程中，審委並未發出新穎性或非顯而易見性的核駁，而是以相當長的篇幅說明原始claims不符合專利適格性，其中包括請求項(1)指向非法定標的(non-statutory subject matter)以及(2)指向司法例外且沒有顯著超過，而第二點也就是近幾年令申請人頭痛的Alice rejection。由於本案申請人在收到Office Action後與審委進行了電話面詢，推測其答辯意見多已於電詢中說明，所以在其遞交的答覆理由中並無太多關於其如何克服專利適格性的資料，故此處僅從其修改的請求項(圖3)推測，在修改的內容中，“despite determining that the audio data corresponds to the hotword”是關鍵，其意義就是告訴審委此案的replay attack的特徵是基於現有聲紋符合即可開鎖的技術下所附加的限制條件，且其帶有進步效果，至少在Alice test的Step 2的“in combination”時是顯著超過抽象概念的。

圖3. US Patent No. 14/943287 Amended Claim (紅框為本文加註)

圖片來源：USPTO

Apple雖然目前還沒有類似Google Home或是Amazon Echo的商品，但其在另一篇專利US 20170092270中，隱約透露未來Apple應該也會推出類似的商品，就如圖4所示，裝置608應就是語音智慧助理的硬體裝置。

圖4. US Patent No. 20170092270 之圖6B

圖片來源：USPTO

不過本文要介紹的是另一篇蘋果專利US 15/163392，其係有關(1)多重使用者辨識以及(2)自訂啟動詞語，換句話說，未來版本的iOS中可能不用再喊“hey, Siri”了。

圖5是392專利對於多重使用者之辨識的總流程圖，其中包含許多因應不同狀況的子流程(圓圈A、E等)，本段觀察的重點是區塊902以及904。在說明書中，Apple把“hey, Siri”這種啟動詞語稱作語彙觸發器(lexical trigger)，使用者可自訂的語彙觸發器(user-customizable lexical trigger)可以是使用者的自然話語，例如“hey there, boss”，也可以是不同於話語的聲音，例如口哨，或是由使用者或使用者操作之裝置所產生的非話語的發聲(utterance)。另外說明書也有提到，自訂的好處是可以加強安全性，因為未授權者較難猜出使用者設定的詞語，此外，一聲“hey, Siri”同時喚起辦公桌上所有iPhone的問題也能被解決。但是自訂也是有些限制的，淫穢的(obscene)、冒犯的(offensive)、不雅的(tasteless)的詞語是被禁止的。

說明書中提到偵測到使用者的聲音特徵變換除了是新使用者以外，使用者身處不同環境例如浴室或草坪以及感冒或過敏等健康狀況的變化都會影響聲音特徵，智慧助理應該要能根據這些資料來預期使用者聲音的不同。Apple這些設想相當周到，但可能仍需更完善的物聯網環境才能提升效果。

圖5. US Patent No. 15/163392之圖8A

圖片來源：USPTO

接續的觀察重點是392專利的保護範圍，至本文截稿時，392專利已收到第一次Office Action，申請人尚未回覆，所以是尚未核准的專利。如圖6所示，Apple把多重使用者辨識以及使用者自訂語彙觸發器的技術特徵都有放到Claim 1中，若辨識相符合則喚醒虛擬助理(第一個紅框)，若辨識失敗則放棄喚醒的動作。

但Apple這篇專利跟上述Google的287專利一樣在審查時遇到35 U.S.C. 101專利適格性的Alice rejection，被判定是抽象概念且未顯著超過(如圖7)。拿287專利來比較，二者都是與語音辨識技術以及智慧助理相關，只不過Google因為是針對重播攻擊，所以在辨識成功後是禁止喚醒，而Apple恰好相反，辨識成功是執行喚醒。

從這二專利案的審查可以得知，以這二案原始的claims來說，在審委的眼中，根據資料A、B做出決定C只是數學比較關係或只是單純的想法(an idea of itself)，並不具可專利性。這時可回想Google怎麼克服Alice核駁，其新增的限制條件“the computing device being configured to exit the lock mode based on determining that the audio data corresponds to a hotword”在某個角度上就是Apple這篇專利Claim 1的狀況(一般狀況)，配上“despite determining that the audio data corresponds to the hotword”的限制，原本的“重播攻擊處置”就變成“在一般狀況下的重播攻擊處置”，因而克服101核駁，至於Apple未來如何克服值得追蹤觀察。

圖6. US Patent No. 15/163392 Claim 1 (紅框為本文加註)

圖片來源：USPTO

圖7. US Patent No. 15/163392 Office Action (紅框為本文加註)

圖片來源：USPTO

備註：

1. https://www.youtube.com/watch?v=RZNqSy-zFXo

Facebook 在北美智權報粉絲團上追踪我們