手機 App 助弱視人士 Seeing AI 人工智能掂唔掂!?

手機 App 助弱視人士 Seeing AI 人工智能掂唔掂!?

以人工智能來幫助人類解決問題是今日科技的熱門應用,昨日 Microsoft 就運用他們多次獲獎的圖像辨識技術,推出一款幫助弱視人士的 iPhone App 《 Seeing AI 》,將鏡頭拍下的畫面化為語音或大字體文字,讓他們的生活更方便。不過其實這 App 對一般人來說也有實用價值。

這個《 Seeing AI 》運用了雲端圖像辨識、容貌辨識和語音助理 Cortana 技術,將 iPhone 鏡頭拍到的畫面進行即時進行分析,然後以語音的方式由 Cortana 諗出來。 App 本身分為多個「頻道」分別可以用來辨識短文、長篇文章、產品條碼、人物(基本上是人面)和測試中的場景辨識。大家只要選擇合適的頻道,用鏡頭對準目標, App 就會自動開始辨識。

辨識短文

可以將短句字諗出來,不過我們在測試中發覺它雖然某程度上會諗粵語,但是辨識時卻只認得出英文。另外,由於 AI 的設計,辨識時最好只拍到要辨識的字句,不要拍到其他字詞,否則諗出來的會很混亂。

辨識長文

這個頻道是將鏡頭拍到的文章變成文字,但就不會諗出來。基本上就是 OCR 功能啦,辨識完後,就可以透過右上角的分享功能表,將文字分享到其他 App 或 Email 給其他人。

將鏡頭指向文章,即可自動開始辨識。期間會有英文語音提示用家調整鏡頭位置。

將鏡頭指向文章,即可自動開始辨識。期間會有英文語音提示用家調整鏡頭位置。

辨識率相當高,幾乎全中。

辨識率相當高,幾乎全中。

辨識產品條碼

這頻道是讀取到產品條碼後解碼,然後將搜尋到的產品名稱諗出來。不過我們在測試中就發覺大部分產品都無法辨識到是甚麼,包括一些國際品牌的罐裝飲品。而唯一能夠辨識到的,是《 Planet Earth II 》的 4K UHD 藍光影碟⋯⋯

能從條碼中辨認出《 Planet Earth II 》4K 影碟

能從條碼中辨認出《 Planet Earth II 》4K 影碟

卻無法辨識出一罐罐裝咖啡⋯⋯

卻無法辨識出一罐罐裝咖啡⋯⋯

人物辨識認朋友

這個頻道是諗出出現在鏡頭前的人的名字。大家要先點選左上角進入菜單,選擇「 Face Recognition 」,來將註冊自己和親朋戚友的容貌,並告訴 App 他的名字。每次註冊需要拍攝 3 張照片,完成註冊後以後進入這個頻道,假如有 App 所認識的人出現在鏡頭前,就會諗出他的名字。

 從菜單選擇「 Face Recognition 」來註冊親友面容


從菜單選擇「 Face Recognition 」來註冊親友面容

AI 要拍攝 3 張照片來學習

AI 要拍攝 3 張照片來學習

拍照後填上名字就完成註冊

拍照後填上名字就完成註冊

可以註冊多個面容

可以註冊多個面容

辨識好後只要鏡頭上出現認識的人物就會諗出他/她的名字,即使表情有所不同。

辨識好後只要鏡頭上出現認識的人物就會諗出他/她的名字,即使表情有所不同。

場景辨識顯示微軟 AI 實力

這個是微軟人工智能的高度運用,因為除了物件辨識的 Image Tagging 之外,還要從圖像中了解物件的狀態、動作和關係,從而組織出一句形容整個畫面的英語句子。測試時我們發現它的準確度蠻高,而且尤其是對物件間關係分析得很準確。分析完成後大家可以將分析結果和照片分享出去。

不過這個頻道還在測試階段,也不難發現一些問題,例如這個人工智能對著名地標一點認識都沒有,富士山和 Skytree 這些國際性著名地標都認不出來。另外也發現即使已經註冊了的人物,在這個頻道都無法認出來。雖然 App 沒有說明,但我們就發現這個功能在水平拍攝時,辨識率遠比垂直拍攝高。

即使背著鏡頭,還沒有拍到全身,都可以準確認識到相中的事物和關係

即使背著鏡頭,還沒有拍到全身,都可以準確認識到相中的事物和關係

不過偶然都會認錯男女的⋯⋯

不過偶然都會認錯男女的⋯⋯

認不出富士山

認不出富士山

也不認識 Skytree,只知道是一座塔。

也不認識 Skytree,只知道是一座塔。

照片也可以辨識

除了直接使用此 App 來做辨識,也可以從其他 App 或手機相簿裡的照片進行辨識。大家只要開啟分享功能表,在下層「動作」選單撥到最右邊的「更多」,並開啟「 Recognize With Seeing AI 」,將來就可以透過相片的分享功能來使用《 Seeing AI 》做辨識。

在「動作」選單中選擇「更多」,進入選單後開啟「 Recognize With Seeing AI 」。

在「動作」選單中選擇「更多」,進入選單後開啟「 Recognize With Seeing AI 」。

完成設定後,就可以在其他 App 使用《 Seeing AI 》做辨識。

完成設定後,就可以在其他 App 使用《 Seeing AI 》做辨識。

用過這個 App 之後,覺得這個 App 是 Microsoft 辨識技術的集大成,將學習人工智能時會學到的幾個課題集合在一個 App 裡,感覺有點像習作。這個 App 經已在美國、加拿大、印度、香港、新西蘭和新加坡的 App Store 推出。雖然現時這個 App 仍然說不上實用,不過相信隨著雲端辨識技術的改進,將來能夠將辨識率提高。

01

iOS 下載網址:按此