在線客服
企業(yè)微信
核心提示：將于 2024 年底生效的歐盟《人工智能法案》，和《通用數(shù)據(jù)保護(hù)條例》（GDPR，General Data Protection Regulation）一樣，將約束為歐盟客戶提供服務(wù)的所有機(jī)構(gòu)。
編者按：銀行記者卡列娜·馬科托夫（Kalyeena Makortoff）拋出重彈——基于人工智能的“黑盒”歧視似乎超出了使用者的控制范圍，這再次引發(fā)了一場圍繞公共和私營行業(yè)人工智能使用的廣泛辯論。當(dāng)人們在某些特定情況下應(yīng)用人工智能時，它所帶來的風(fēng)險真實且重大。最大的危險之一就是無意的偏見，它會對個人造成傷害。針對于此，歐盟的政治家們正計劃推出首個全面的全球人工智能監(jiān)管模板。將于 2024 年底生效的《人工智能法案》將產(chǎn)生廣泛的影響。與歐盟的《通用數(shù)據(jù)保護(hù)條例》一樣，《人工智能法案》將約束為歐盟客戶提供服務(wù)的所有機(jī)構(gòu)，確保這些機(jī)構(gòu)使用被政府批準(zhǔn)的人工智能，避免客戶受到傷害。另外，當(dāng)經(jīng)過批準(zhǔn)的人工智能系統(tǒng)發(fā)生故障或?qū)�人造成傷害時，政府將提供補(bǔ)救措施。本文來自翻譯，希望對您有幫助。
銀行記者卡列娜·馬科托夫這樣寫道：“基于人工智能（AI，Artificial Intelligence）的“黑盒”歧視似乎超出了使用它的組織的控制范圍。”
一切源自 2019 年 11 月的一條推特：知名科技企業(yè)家大衛(wèi)·海涅邁爾·漢森（David Heinemeier Hansson）強(qiáng)烈抨擊蘋果新推出的信用卡，稱其為妻子提供的信用額度比自己低 20 倍，是赤裸裸的“性別歧視”。
這些指控以野火之勢蔓延開來，漢森強(qiáng)調(diào)，做出上述性別歧視行為的罪魁禍?zhǔn)�，是�?dāng)前被廣泛用于做出貸款決策的人工智能。“蘋果代表的意圖并不重要，重要的是他們完全信任的算法。被信任的算法做出的卻是歧視行為。這太糟糕了。”
盡管蘋果及其承銷商高盛（Goldman Sachs）去年已經(jīng)被美國監(jiān)管機(jī)構(gòu)判定違反了公平放貸規(guī)則，漢森關(guān)于“人工智能歧視”的上述指控再次引發(fā)了一場更為廣泛的圍繞公共和私營行業(yè)人工智能使用的辯論。
為了提高效率，各機(jī)構(gòu)正越來越多地將日常任務(wù)自動化以削減成本，歐盟的政治家們正計劃推出首個全面的全球人工智能監(jiān)管模板。
這項《人工智能法案》立法的影響不會止步于歐盟，與歐盟的《通用數(shù)據(jù)保護(hù)條例》一樣，它將適用于為歐盟客戶服務(wù)的任何機(jī)構(gòu)，包括英國的銀行在內(nèi)。艾達(dá)·洛夫萊斯研究所（Ada Lovelace Institute）的歐洲公共政策負(fù)責(zé)人亞歷克山德魯·斯修馬如（Alexandru Circiumaru）說：“這項法案一旦被采用，怎樣夸大其影響都不為過。”
歐盟人工智能“高風(fēng)險”用途的最終清單，促進(jìn)出臺了嚴(yán)格的規(guī)則，這些規(guī)則規(guī)范了將人工智能用于篩選工作、大學(xué)或福利申請的方式，以及貸款機(jī)構(gòu)評估潛在借款人信譽(yù)的方式。
歐盟官員希望，通過額外的監(jiān)督和限制可使用的人工智能模型類型，來遏制基于機(jī)器的歧視。這些歧視可能會影響改變生活的決定，比如自己是否能負(fù)擔(dān)住房或?qū)W生貸款。
獨(dú)立金融技術(shù)顧問莎拉·科齊安斯基（Sarah Kociansk）說：“可以使用人工智能分析我們的整個財務(wù)狀況，包括支出、儲蓄和其他債務(wù)，從而得出一個更全面的規(guī)劃圖景。如果設(shè)計得當(dāng)，這樣的系統(tǒng)可以提供更廣泛的可負(fù)擔(dān)信貸渠道。”
但最大的危險之一就是無意的偏見，系統(tǒng)所使用的算法最終會拒絕向女性、移民或有色人種等部分群體提供貸款或賬戶。
人工智能分析存在的部分問題在于，大多數(shù)人工智能模型只能從提供給系統(tǒng)的歷史數(shù)據(jù)中反饋出學(xué)習(xí)信息，這就意味著它們將會了解之前給哪些客戶貸過款，以及哪些客戶被標(biāo)記為失信人員。科齊安斯基說：“有一種風(fēng)險存在，即系統(tǒng)會對‘誠信’借款人的‘長相’產(chǎn)生偏見。值得注意的是，性別和種族往往在人工智能的決策過程中發(fā)揮作用，而這些決策過程是基于人工智能所訓(xùn)練出來的數(shù)據(jù)——所考慮的因素與個人償還貸款的能力毫不相關(guān)。”
除此之外，一些模型在被設(shè)計時沒有考慮所謂的受保護(hù)特性，也就意味著它們不打算考慮性別、種族、族裔或殘疾的影響。但這些人工智能模型仍然可以通過分析郵政編碼等其他數(shù)據(jù)特征對客戶進(jìn)行區(qū)分，這些數(shù)據(jù)的來源可能是之前從未有過申請、擔(dān)保、償還或抵押貸款歷史記錄的弱勢群體。
在大多數(shù)情況下，當(dāng)一個算法做出決定時，任何人都很難理解它是如何得出這個結(jié)論的，這導(dǎo)致了人們通常所說的“黑盒”綜合征。這意味著一些未知的存在，比如：銀行可能很難解釋申請人可以采取哪些不同的做法來獲得貸款或信用卡的資格，或者將申請人的性別從男性改為女性是否會產(chǎn)生不同的結(jié)果。
斯修馬如表示，將于 2024 年底生效的人工智能法案，會惠及那些成功開發(fā)出符合歐盟新規(guī)則的“可信 AI”模型的科技公司。
人工智能初創(chuàng)公司因果鏡頭的總部位于倫敦，其首席執(zhí)行官兼聯(lián)合創(chuàng)始人達(dá)爾科·馬托夫斯基（Darko Matovski）相信，causaLens 就是新規(guī)則的受惠公司之一。（譯者注：causaLens，因果人工智能軟件公司，開創(chuàng)了“因果人工智能”的先河。因果人工智能是新一代智能機(jī)器，最終能夠理解“因果關(guān)系”——這是邁向真正人工智能的重要一步。）
人工智能初創(chuàng)公司 causaLens 于 2021 年 1 月公開成立，已經(jīng)將自己的技術(shù)授權(quán)給了資產(chǎn)管理公司 Aviva 和量化交易公司 Tibra 等公司。該公司表示，在歐盟規(guī)定生效之前，許多零售銀行正在與自己簽署協(xié)議。
企業(yè)家馬托夫斯基表示，causaLens 提供了一種更先進(jìn)的人工智能形式，通過計算和控制數(shù)據(jù)中的歧視相關(guān)性來避免潛在的偏見。他說：“基于相關(guān)性的模型只能學(xué)習(xí)過去的錯誤，并將其重演到未來。”
他堅信，自己開發(fā)的這種被稱之為因果人工智能的模型，將為可能失去教育和賺錢機(jī)會的邊緣化群體帶來更好的未來。
他說：“我們真的難以知道人工智能已經(jīng)造成的破壞規(guī)模有多大，因為無法真正檢查這個模型。我們不知道有多少人因為混亂的算法而不能上大學(xué)，也不知道有多少人因為算法偏差而無法獲得抵押貸款。我們都不知道。”
馬托夫斯基說，防止?jié)撛谄缫暤奈ㄒ环椒ň褪禽斎胧鼙Ｗo(hù)的數(shù)據(jù)特征，如殘疾、性別、種族，但要保證無論這些輸入的具體值是什么樣的，系統(tǒng)的決定都不會改變。
他表示，解決這一問題確保了人工智能模型能夠反映我們當(dāng)前的社會價值觀，并避免延續(xù)過去任何種族主義、殘疾主義或歧視女性的決策。他說：“社會普遍認(rèn)為，無論人們的性別，郵政編碼及種族是什么，都應(yīng)該得到平等的對待。因此，算法不僅要努力做到這一點(diǎn)，還必須保證做到這一點(diǎn)。”
盡管歐盟的新規(guī)定很可能向遏制基于機(jī)器的偏見邁出了一大步，但包括艾達(dá)·洛夫萊斯研究所在內(nèi)的一些專家也同時在推動消費(fèi)者維護(hù)自己的權(quán)益：如果認(rèn)為自己處于不利地位，有權(quán)投訴和尋求賠償。
斯修馬如說：“尤其是人們在某些特定情況下應(yīng)用人工智能時，它已經(jīng)帶來了真實的、重大的風(fēng)險。”
他還表示，“人工智能監(jiān)管應(yīng)確保通過批準(zhǔn)或不批準(zhǔn)某項人工智能的使用，來恰當(dāng)?shù)乇Ｗo(hù)個人免受傷害，并在經(jīng)過批準(zhǔn)的人工智能系統(tǒng)發(fā)生故障或?qū)�人造成傷害時提供補(bǔ)救措施。我們不能假設(shè)經(jīng)過批準(zhǔn)的人工智能系統(tǒng)總能完美運(yùn)作，而在它們不能完美運(yùn)作的情況下疏于防備。”
圖1. 歐盟的《人工智能法案》（Artificial Intelligence Act）和《通用數(shù)據(jù)保護(hù)條例》（GDPR，General Data Protection Regulation）一樣，將約束為歐盟客戶提供服務(wù)的所有機(jī)構(gòu)。
銀行記者卡列娜·馬科托夫這樣寫道：“基于人工智能（AI，Artificial Intelligence）的“黑盒”歧視似乎超出了使用它的組織的控制范圍。”
一切源自 2019 年 11 月的一條推特：知名科技企業(yè)家大衛(wèi)·海涅邁爾·漢森（David Heinemeier Hansson）強(qiáng)烈抨擊蘋果新推出的信用卡，稱其為妻子提供的信用額度比自己低 20 倍，是赤裸裸的“性別歧視”。
這些指控以野火之勢蔓延開來，漢森強(qiáng)調(diào)，做出上述性別歧視行為的罪魁禍?zhǔn)�，是�?dāng)前被廣泛用于做出貸款決策的人工智能。“蘋果代表的意圖并不重要，重要的是他們完全信任的算法。被信任的算法做出的卻是歧視行為。這太糟糕了。”
盡管蘋果及其承銷商高盛（Goldman Sachs）去年已經(jīng)被美國監(jiān)管機(jī)構(gòu)判定違反了公平放貸規(guī)則，漢森關(guān)于“人工智能歧視”的上述指控再次引發(fā)了一場更為廣泛的圍繞公共和私營行業(yè)人工智能使用的辯論。
為了提高效率，各機(jī)構(gòu)正越來越多地將日常任務(wù)自動化以削減成本，歐盟的政治家們正計劃推出首個全面的全球人工智能監(jiān)管模板。
這項《人工智能法案》立法的影響不會止步于歐盟，與歐盟的《通用數(shù)據(jù)保護(hù)條例》一樣，它將適用于為歐盟客戶服務(wù)的任何機(jī)構(gòu)，包括英國的銀行在內(nèi)。艾達(dá)·洛夫萊斯研究所（Ada Lovelace Institute）的歐洲公共政策負(fù)責(zé)人亞歷克山德魯·斯修馬如（Alexandru Circiumaru）說：“這項法案一旦被采用，怎樣夸大其影響都不為過。”
歐盟人工智能“高風(fēng)險”用途的最終清單，促進(jìn)出臺了嚴(yán)格的規(guī)則，這些規(guī)則規(guī)范了將人工智能用于篩選工作、大學(xué)或福利申請的方式，以及貸款機(jī)構(gòu)評估潛在借款人信譽(yù)的方式。
歐盟官員希望，通過額外的監(jiān)督和限制可使用的人工智能模型類型，來遏制基于機(jī)器的歧視。這些歧視可能會影響改變生活的決定，比如自己是否能負(fù)擔(dān)住房或?qū)W生貸款。
獨(dú)立金融技術(shù)顧問莎拉·科齊安斯基（Sarah Kociansk）說：“可以使用人工智能分析我們的整個財務(wù)狀況，包括支出、儲蓄和其他債務(wù)，從而得出一個更全面的規(guī)劃圖景。如果設(shè)計得當(dāng)，這樣的系統(tǒng)可以提供更廣泛的可負(fù)擔(dān)信貸渠道。”
但最大的危險之一就是無意的偏見，系統(tǒng)所使用的算法最終會拒絕向女性、移民或有色人種等部分群體提供貸款或賬戶。
人工智能分析存在的部分問題在于，大多數(shù)人工智能模型只能從提供給系統(tǒng)的歷史數(shù)據(jù)中反饋出學(xué)習(xí)信息，這就意味著它們將會了解之前給哪些客戶貸過款，以及哪些客戶被標(biāo)記為失信人員。科齊安斯基說：“有一種風(fēng)險存在，即系統(tǒng)會對‘誠信’借款人的‘長相’產(chǎn)生偏見。值得注意的是，性別和種族往往在人工智能的決策過程中發(fā)揮作用，而這些決策過程是基于人工智能所訓(xùn)練出來的數(shù)據(jù)——所考慮的因素與個人償還貸款的能力毫不相關(guān)。”
除此之外，一些模型在被設(shè)計時沒有考慮所謂的受保護(hù)特性，也就意味著它們不打算考慮性別、種族、族裔或殘疾的影響。但這些人工智能模型仍然可以通過分析郵政編碼等其他數(shù)據(jù)特征對客戶進(jìn)行區(qū)分，這些數(shù)據(jù)的來源可能是之前從未有過申請、擔(dān)保、償還或抵押貸款歷史記錄的弱勢群體。
圖2. 人工智能最大的危險之一是無意的偏見，即算法歧視某些群體，包括女性、移民或有色人種。
在大多數(shù)情況下，當(dāng)一個算法做出決定時，任何人都很難理解它是如何得出這個結(jié)論的，這導(dǎo)致了人們通常所說的“黑盒”綜合征。這意味著一些未知的存在，比如：銀行可能很難解釋申請人可以采取哪些不同的做法來獲得貸款或信用卡的資格，或者將申請人的性別從男性改為女性是否會產(chǎn)生不同的結(jié)果。
斯修馬如表示，將于 2024 年底生效的人工智能法案，會惠及那些成功開發(fā)出符合歐盟新規(guī)則的“可信 AI”模型的科技公司。
人工智能初創(chuàng)公司因果鏡頭的總部位于倫敦，其首席執(zhí)行官兼聯(lián)合創(chuàng)始人達(dá)爾科·馬托夫斯基（Darko Matovski）相信，causaLens 就是新規(guī)則的受惠公司之一。（譯者注：causaLens，因果人工智能軟件公司，開創(chuàng)了“因果人工智能”的先河。因果人工智能是新一代智能機(jī)器，最終能夠理解“因果關(guān)系”——這是邁向真正人工智能的重要一步。）
人工智能初創(chuàng)公司 causaLens 于 2021 年 1 月公開成立，已經(jīng)將自己的技術(shù)授權(quán)給了資產(chǎn)管理公司 Aviva 和量化交易公司 Tibra 等公司。該公司表示，在歐盟規(guī)定生效之前，許多零售銀行正在與自己簽署協(xié)議。
企業(yè)家馬托夫斯基表示，causaLens 提供了一種更先進(jìn)的人工智能形式，通過計算和控制數(shù)據(jù)中的歧視相關(guān)性來避免潛在的偏見。他說：“基于相關(guān)性的模型只能學(xué)習(xí)過去的錯誤，并將其重演到未來。”
他堅信，自己開發(fā)的這種被稱之為因果人工智能的模型，將為可能失去教育和賺錢機(jī)會的邊緣化群體帶來更好的未來。
他說：“我們真的難以知道人工智能已經(jīng)造成的破壞規(guī)模有多大，因為無法真正檢查這個模型。我們不知道有多少人因為混亂的算法而不能上大學(xué)，也不知道有多少人因為算法偏差而無法獲得抵押貸款。我們都不知道。”
馬托夫斯基說，防止?jié)撛谄缫暤奈ㄒ环椒ň褪禽斎胧鼙Ｗo(hù)的數(shù)據(jù)特征，如殘疾、性別、種族，但要保證無論這些輸入的具體值是什么樣的，系統(tǒng)的決定都不會改變。
他表示，解決這一問題確保了人工智能模型能夠反映我們當(dāng)前的社會價值觀，并避免延續(xù)過去任何種族主義、殘疾主義或歧視女性的決策。他說：“社會普遍認(rèn)為，無論人們的性別，郵政編碼及種族是什么，都應(yīng)該得到平等的對待。因此，算法不僅要努力做到這一點(diǎn)，還必須保證做到這一點(diǎn)。”
盡管歐盟的新規(guī)定很可能向遏制基于機(jī)器的偏見邁出了一大步，但包括艾達(dá)·洛夫萊斯研究所在內(nèi)的一些專家也同時在推動消費(fèi)者維護(hù)自己的權(quán)益：如果認(rèn)為自己處于不利地位，有權(quán)投訴和尋求賠償。
斯修馬如說：“尤其是人們在某些特定情況下應(yīng)用人工智能時，它已經(jīng)帶來了真實的、重大的風(fēng)險。”
他還表示，“人工智能監(jiān)管應(yīng)確保通過批準(zhǔn)或不批準(zhǔn)某項人工智能的使用，來恰當(dāng)?shù)乇Ｗo(hù)個人免受傷害，并在經(jīng)過批準(zhǔn)的人工智能系統(tǒng)發(fā)生故障或?qū)�人造成傷害時提供補(bǔ)救措施。我們不能假設(shè)經(jīng)過批準(zhǔn)的人工智能系統(tǒng)總能完美運(yùn)作，而在它們不能完美運(yùn)作的情況下疏于防備。”
