在線客服
企業(yè)微信
核心提示：將一張神奇貼紙貼在臉上，就能讓人臉識別門禁系統(tǒng)出現(xiàn)誤判，毫無防備地為陌生人打開大門；把這張貼紙放置在眼鏡上，一秒鐘之內(nèi)，
將一張“神奇貼紙”貼在臉上，就能讓人臉識別門禁系統(tǒng)出現(xiàn)誤判，毫無防備地為陌生人打開大門；把這張“貼紙”放置在眼鏡上，一秒鐘之內(nèi)，手機的人臉識別系統(tǒng)就被解鎖，黑客獲取用戶隱私數(shù)據(jù)如入無人之境……這并非科幻片中的想象，而是首屆人工智能安全大賽展示的真實攻防場景。
和其他通用技術(shù)一樣，近年來，人工智能技術(shù)在高歌猛進(jìn)的同時，也帶來了新的風(fēng)險和隱患。中國科學(xué)院院士張鈸表示，人工智能的發(fā)展正站在歷史新起點，伴隨算力、數(shù)據(jù)等條件的具備以及機器學(xué)習(xí)等技術(shù)的進(jìn)步，人工智能在計算機視覺、自然語言處理等眾多領(lǐng)域取得長足發(fā)展，各行各業(yè)應(yīng)用蓬勃興起。與此同時，以數(shù)據(jù)驅(qū)動的第二代人工智能的可解釋性、魯棒性等方面的缺陷也暴露出來，安全事件頻頻發(fā)生。
在現(xiàn)實生活中，人工智能技術(shù)風(fēng)險發(fā)生的范圍正隨著應(yīng)用場景的日趨廣泛而逐步擴大，風(fēng)險發(fā)生的可能性也隨著其應(yīng)用頻次的增長而持續(xù)提高。人臉識別破解演示所揭示的正是人工智能系統(tǒng)的風(fēng)險，它來自深度學(xué)習(xí)算法本身的脆弱性。以深度學(xué)習(xí)算法為核心的第二代人工智能是個“黑盒子”，具有不可解釋性，意味著系統(tǒng)存在結(jié)構(gòu)性漏洞，可能存在不可預(yù)知的風(fēng)險，典型場景就是“神奇貼紙”，通過在輸入數(shù)據(jù)中添加擾動，使系統(tǒng)作出錯誤判斷。
這一漏洞也存在于自動駕駛感知系統(tǒng)中。在正常情況下，識別到路障、指示牌、行人等目標(biāo)后，自動駕駛車輛就會立即停車，但在對目標(biāo)物體上添加干擾圖案后，車輛的感知系統(tǒng)就會出錯，導(dǎo)致碰撞危險。
統(tǒng)籌發(fā)展和安全，是每項新技術(shù)發(fā)展過程中面臨的必然問題，如何實現(xiàn)高水平發(fā)展和高水平安全的良性互動，也是當(dāng)前人工智能產(chǎn)業(yè)發(fā)展的重大命題。專家認(rèn)為，從目前來看，重視人工智能安全體系建設(shè)，既是當(dāng)務(wù)之急，也是長遠(yuǎn)考慮，需加快促進(jìn)人工智能安全領(lǐng)域關(guān)鍵技術(shù)研究與攻防實踐。
人工智能對抗攻防包括對抗樣本、神經(jīng)網(wǎng)絡(luò)后門、模型隱私問題等多方面技術(shù)。模型有錯誤就需要進(jìn)行及時修復(fù)，中國科學(xué)院信息安全國家重點實驗室副主任陳愷提出“神經(jīng)網(wǎng)絡(luò)手術(shù)刀”的方法，通過定位引發(fā)錯誤的神經(jīng)元，進(jìn)行精準(zhǔn)“微創(chuàng)”修復(fù)。他表示，不同于傳統(tǒng)的模型修復(fù)工作需要重新訓(xùn)練模型或者依賴于較大量的數(shù)據(jù)樣本，這種方式類似于“微創(chuàng)手術(shù)”，只需極少量或無須數(shù)據(jù)樣本，能夠大幅提升模型修復(fù)效果。
開放環(huán)境下的人工智能系統(tǒng)面臨諸多安全挑戰(zhàn)，如何解決通用人工智能算法全周期的安全保障問題成為重中之重。專家建議，未來的人工智能安全應(yīng)該圍繞從數(shù)據(jù)、算法到系統(tǒng)各個層次上的全面評測，同時配合一個從硬件到軟件的安全可信計算環(huán)境。
人工智能安全治理需要廣泛協(xié)作和開放創(chuàng)新，需加強政府、學(xué)術(shù)機構(gòu)、企業(yè)等產(chǎn)業(yè)各參與方的互動合作，建立積極的生態(tài)規(guī)則。工商銀行金融研究院安全攻防實驗室主管專家蘇建明建議，在政策層面加快人工智能的立法進(jìn)程，加大對人工智能服務(wù)水平、技術(shù)支撐能力等專項監(jiān)督的考核力度。在學(xué)術(shù)層面加大對人工智能安全研究的激勵投入，通過產(chǎn)學(xué)研合作模式加快科研成果的轉(zhuǎn)化與落地。在企業(yè)層面逐步推動人工智能技術(shù)由場景拓展向安全可信發(fā)展轉(zhuǎn)變，通過參與標(biāo)準(zhǔn)制定，推出產(chǎn)品服務(wù)，持續(xù)探索人工智能安全實踐及解決方案。
此外，在人工智能的全生命周期，不僅存在算法層面的安全性問題，算力作為人工智能發(fā)展的重要基礎(chǔ)設(shè)施，也面臨諸多風(fēng)險，推動人工智能算力基礎(chǔ)設(shè)施安全發(fā)展具有重要意義。由國家工業(yè)信息安全發(fā)展研究中心與華為、北京瑞萊智慧共同發(fā)布的《人工智能算力基礎(chǔ)設(shè)施安全發(fā)展白皮書》認(rèn)為，人工智能算力基礎(chǔ)設(shè)施既是“基礎(chǔ)設(shè)施”又是“人工智能算力”，同時也是“公共設(shè)施”，具有基建屬性、技術(shù)屬性、公共屬性三重屬性。相應(yīng)地，推動人工智能算力基礎(chǔ)設(shè)施安全發(fā)展應(yīng)從強化自身安全、保障運行安全、助力安全合規(guī)三個方面發(fā)力，通過強化自身的可靠性、可用性與穩(wěn)定性，保障算法運行時的機密性與完整性，圍繞提升用戶的安全管控力、認(rèn)可度與合規(guī)性等八個領(lǐng)域筑牢人工智能安全防線，打造可信、可用、好用的人工智能算力底座，營造安全、健康、合規(guī)發(fā)展的人工智能產(chǎn)業(yè)生態(tài)。
“錨定怎樣的發(fā)展理念，選取怎樣的技術(shù)路線使下一代人工智能實現(xiàn)安全、可信、可靠的發(fā)展，將是我們這代人為未來智能世界繪制的藍(lán)圖底色。”張鈸表示，“多年來我們一直倡導(dǎo)構(gòu)建第三代人工智能，即融合知識、數(shù)據(jù)、算法、算力四個要素，建立新的可解釋、魯棒的人工智能方法。”從長遠(yuǎn)看，人工智能的安全問題，需要從算法模型的原理上突破，唯有持續(xù)加強基礎(chǔ)研究，才能破解核心科學(xué)問題，同時，人工智能的未來發(fā)展需確保對整個社會、國家發(fā)展的有效性和正向促進(jìn)性，需要政產(chǎn)學(xué)研用多方協(xié)同共進(jìn)。
和其他通用技術(shù)一樣，近年來，人工智能技術(shù)在高歌猛進(jìn)的同時，也帶來了新的風(fēng)險和隱患。中國科學(xué)院院士張鈸表示，人工智能的發(fā)展正站在歷史新起點，伴隨算力、數(shù)據(jù)等條件的具備以及機器學(xué)習(xí)等技術(shù)的進(jìn)步，人工智能在計算機視覺、自然語言處理等眾多領(lǐng)域取得長足發(fā)展，各行各業(yè)應(yīng)用蓬勃興起。與此同時，以數(shù)據(jù)驅(qū)動的第二代人工智能的可解釋性、魯棒性等方面的缺陷也暴露出來，安全事件頻頻發(fā)生。
在現(xiàn)實生活中，人工智能技術(shù)風(fēng)險發(fā)生的范圍正隨著應(yīng)用場景的日趨廣泛而逐步擴大，風(fēng)險發(fā)生的可能性也隨著其應(yīng)用頻次的增長而持續(xù)提高。人臉識別破解演示所揭示的正是人工智能系統(tǒng)的風(fēng)險，它來自深度學(xué)習(xí)算法本身的脆弱性。以深度學(xué)習(xí)算法為核心的第二代人工智能是個“黑盒子”，具有不可解釋性，意味著系統(tǒng)存在結(jié)構(gòu)性漏洞，可能存在不可預(yù)知的風(fēng)險，典型場景就是“神奇貼紙”，通過在輸入數(shù)據(jù)中添加擾動，使系統(tǒng)作出錯誤判斷。
這一漏洞也存在于自動駕駛感知系統(tǒng)中。在正常情況下，識別到路障、指示牌、行人等目標(biāo)后，自動駕駛車輛就會立即停車，但在對目標(biāo)物體上添加干擾圖案后，車輛的感知系統(tǒng)就會出錯，導(dǎo)致碰撞危險。
統(tǒng)籌發(fā)展和安全，是每項新技術(shù)發(fā)展過程中面臨的必然問題，如何實現(xiàn)高水平發(fā)展和高水平安全的良性互動，也是當(dāng)前人工智能產(chǎn)業(yè)發(fā)展的重大命題。專家認(rèn)為，從目前來看，重視人工智能安全體系建設(shè)，既是當(dāng)務(wù)之急，也是長遠(yuǎn)考慮，需加快促進(jìn)人工智能安全領(lǐng)域關(guān)鍵技術(shù)研究與攻防實踐。
人工智能對抗攻防包括對抗樣本、神經(jīng)網(wǎng)絡(luò)后門、模型隱私問題等多方面技術(shù)。模型有錯誤就需要進(jìn)行及時修復(fù)，中國科學(xué)院信息安全國家重點實驗室副主任陳愷提出“神經(jīng)網(wǎng)絡(luò)手術(shù)刀”的方法，通過定位引發(fā)錯誤的神經(jīng)元，進(jìn)行精準(zhǔn)“微創(chuàng)”修復(fù)。他表示，不同于傳統(tǒng)的模型修復(fù)工作需要重新訓(xùn)練模型或者依賴于較大量的數(shù)據(jù)樣本，這種方式類似于“微創(chuàng)手術(shù)”，只需極少量或無須數(shù)據(jù)樣本，能夠大幅提升模型修復(fù)效果。
開放環(huán)境下的人工智能系統(tǒng)面臨諸多安全挑戰(zhàn)，如何解決通用人工智能算法全周期的安全保障問題成為重中之重。專家建議，未來的人工智能安全應(yīng)該圍繞從數(shù)據(jù)、算法到系統(tǒng)各個層次上的全面評測，同時配合一個從硬件到軟件的安全可信計算環(huán)境。
人工智能安全治理需要廣泛協(xié)作和開放創(chuàng)新，需加強政府、學(xué)術(shù)機構(gòu)、企業(yè)等產(chǎn)業(yè)各參與方的互動合作，建立積極的生態(tài)規(guī)則。工商銀行金融研究院安全攻防實驗室主管專家蘇建明建議，在政策層面加快人工智能的立法進(jìn)程，加大對人工智能服務(wù)水平、技術(shù)支撐能力等專項監(jiān)督的考核力度。在學(xué)術(shù)層面加大對人工智能安全研究的激勵投入，通過產(chǎn)學(xué)研合作模式加快科研成果的轉(zhuǎn)化與落地。在企業(yè)層面逐步推動人工智能技術(shù)由場景拓展向安全可信發(fā)展轉(zhuǎn)變，通過參與標(biāo)準(zhǔn)制定，推出產(chǎn)品服務(wù)，持續(xù)探索人工智能安全實踐及解決方案。
此外，在人工智能的全生命周期，不僅存在算法層面的安全性問題，算力作為人工智能發(fā)展的重要基礎(chǔ)設(shè)施，也面臨諸多風(fēng)險，推動人工智能算力基礎(chǔ)設(shè)施安全發(fā)展具有重要意義。由國家工業(yè)信息安全發(fā)展研究中心與華為、北京瑞萊智慧共同發(fā)布的《人工智能算力基礎(chǔ)設(shè)施安全發(fā)展白皮書》認(rèn)為，人工智能算力基礎(chǔ)設(shè)施既是“基礎(chǔ)設(shè)施”又是“人工智能算力”，同時也是“公共設(shè)施”，具有基建屬性、技術(shù)屬性、公共屬性三重屬性。相應(yīng)地，推動人工智能算力基礎(chǔ)設(shè)施安全發(fā)展應(yīng)從強化自身安全、保障運行安全、助力安全合規(guī)三個方面發(fā)力，通過強化自身的可靠性、可用性與穩(wěn)定性，保障算法運行時的機密性與完整性，圍繞提升用戶的安全管控力、認(rèn)可度與合規(guī)性等八個領(lǐng)域筑牢人工智能安全防線，打造可信、可用、好用的人工智能算力底座，營造安全、健康、合規(guī)發(fā)展的人工智能產(chǎn)業(yè)生態(tài)。
“錨定怎樣的發(fā)展理念，選取怎樣的技術(shù)路線使下一代人工智能實現(xiàn)安全、可信、可靠的發(fā)展，將是我們這代人為未來智能世界繪制的藍(lán)圖底色。”張鈸表示，“多年來我們一直倡導(dǎo)構(gòu)建第三代人工智能，即融合知識、數(shù)據(jù)、算法、算力四個要素，建立新的可解釋、魯棒的人工智能方法。”從長遠(yuǎn)看，人工智能的安全問題，需要從算法模型的原理上突破，唯有持續(xù)加強基礎(chǔ)研究，才能破解核心科學(xué)問題，同時，人工智能的未來發(fā)展需確保對整個社會、國家發(fā)展的有效性和正向促進(jìn)性，需要政產(chǎn)學(xué)研用多方協(xié)同共進(jìn)。
