各家科技公司紛終訓練 AI 要駕馭不同產業的自動化需求,專家就警告,駭客有可能針對 AI 的漏洞,刻意餵錯誤的資料進演算法當中,導致 AI 做出錯誤的判斷,如有利於駭客的結果。
趨勢科技全球安全研究副總 William Malik 談到駭客誤導 AI 餵錯誤資料的破壞機器學習 (subverting machine learning),提及其實演算法是很粹弱的,很容易因為訓練資料被動手腳,導致要辨識動物的影像 AI 將長頸鹿辨識為單車。程式不像人類,是不重視整體而是「盯著」很細節的部分,這些細節如被變動,很容易就出狀況。
Malik 也舉自身趨勢科技為例,像趨勢這種類型的防毒公司,常收集十億等級的惡意程式,來餵給 AI 當訓練材料發展辨識的模式,假若不幸公司被入侵,訓練資料被加料,辨識模式被惡意導走,然後最後演算法在市面上佈署,結果導致很多種惡意程式辨識不出來,這就是駭客破壞機器學習的例子。另外在醫療上也有破壞機器學習的例子,MRI 的影像被破壞,傳輸沒加密導致醫生拿到變造過的資料,造成病人被誤診。
近年來臉部辨識的 AI 發展相當成熟,有相當多的應用案例,而反制的方式難免聯想到鄰近的香港近日反送中,有示威者要反制當局,也拿臉部辨識系統來辨識警察,或者用奇怪的花紋圖樣或是雷射筆干擾臉部辨識 AI 的運行,或者單純愛開快車想不被拍照,用反光裝置,會不會算是駭客行為嗎?Malik 談到反制技術一直都存在,像是電影院要防止觀影者用自家的攝影盜錄電影內容,就在影廳當中安裝紅外線放射器,人類肉眼不會察覺,但機器就能感受到,從而干擾盜錄者造成錄不成電影。
另外 Malik 談到他自己應對臉部辨識技術的小習慣,他會在頸部這邊別上有乍看之下圖樣有點奇怪的圖針,在攝影鏡頭之下,AI 會針對圖針辨識,從而避開他的臉部,最終目的是希望他的臉部特徵別進去人臉辨識系統,他認為他的人臉不該與警政單位系統當中,追緝的潛在對象人臉混在一起。
Malik 將在 8/20 舉行的 Cloud Security 登場演講,談到各種不同的工業物聯網防護與防護案例,不同產業有各式各樣自動化需求,設備都漸漸為了即時調整而連上網路,但從前技術進展較慢的 OT 技術卻曝露風險,包括虎視眈眈的駭客。其中被各界相當重視的智慧城市,牽涉的基礎設施之多,各系統之間有不同程度的相依性,願景儘管宏大而且便利城市當中的人民,相當的吸引人,但如果沒有在大大小小的環節好好保護,像是遵循標準如 ISO 37120:2018,如被入侵最嚴重導致整個城市停擺。
近期針對工業目標入侵的案例部分,Malik 談到所幸駭客入侵並非能為所欲為,像是其中幾個案例只是重設 GPS 裝置的時間,但結果也讓這些公司相當頭痛,航空公司的案例導致航班資訊出錯,無法依據排定時間正常飛行,而紐約市則是造成車牌辨識系統出錯無法辨識。