久久久91-久久久91精品国产一区二区-久久久91精品国产一区二区三区-久久久999国产精品-久久久999久久久精品

2015年，一名憂心忡忡的父親問了Rhema Vaithianathan一個問題，這個問題至今依然縈繞在她的記憶里。當時，一小群人聚集在美國賓夕法尼亞州匹茲堡的一個地下室內(nèi)，聽她講軟件如何解決虐待兒童的問題。該區(qū)域的熱線每一天都會接聽到數(shù)十個電話，指稱懷疑有兒童處于危險中；其中一些電話被呼叫中心的工作人員標記為要調(diào)查的對象。但該系統(tǒng)并不能發(fā)現(xiàn)所有虐待兒童的案例。Vaithianathan和同事剛剛獲得了一份50萬美元的合同，以創(chuàng)建幫助解決這個問題的算法。

新西蘭奧克蘭理工大學社會數(shù)據(jù)分析中心聯(lián)席主管、健康經(jīng)濟學家Vaithianathan告訴聽眾，該算法會如何工作。例如，一個包括家庭背景和犯罪記錄的經(jīng)過大量數(shù)據(jù)訓練的工具，可以在來電時產(chǎn)生風險分數(shù)。這或有助于讓篩選人員對應該調(diào)查哪些家庭作出標記。

在Vaithianathan請聽眾提問后，這位父親站起來發(fā)言。他說自己曾與毒癮作斗爭，過去社會工作者曾把他的孩子從家里帶走。但他已經(jīng)有很長時間不再吸毒。如果用一臺電腦評估他的檔案，他為改變自己的生活所作的努力會毫無意義嗎？換句話說：算法會不公平地評判他嗎？

Vaithianathan向他保證，會有人一直參與其中，所以他的努力不會被忽視。但現(xiàn)在自動化工具已經(jīng)部署完畢，她仍在考慮這位父親的問題。 計算機算法越來越多地被用于指導可能改變生活的決定，包括在被指控犯罪后拘留哪些人，應該調(diào)查哪些家庭潛在的虐待兒童問題，以及被稱為“預測性警務”的趨勢，如警察應該關注哪些社區(qū)。這些工具被認為可以讓決策更加一致、準確和嚴謹。但2016年，美國記者稱，一個用于評估未來犯罪活動風險的系統(tǒng)會歧視黑人被告。其潛在不公平性正在引起警惕。且監(jiān)管是有限的：沒有人知道該類工具有多少正在被使用。

公平交易

2016年5月，美國新聞網(wǎng)站ProPublica的記者報道了佛羅里達州布勞沃德縣的法官使用商業(yè)軟件，幫助決定被指控犯罪的人在審判前是否應該從監(jiān)獄中釋放出來。記者報道稱，該軟件對黑人被告存在偏見。這個名為COMPAS的工具產(chǎn)生的分數(shù)旨在衡量一個人釋放后在兩年內(nèi)再次犯罪的可能性。

ProPublica團隊調(diào)查了數(shù)千名被告的COMPAS分數(shù)，這些是他們通過公共記錄請求獲得的。對比黑人和白人被告后，記者發(fā)現(xiàn)一定比例的黑人被告是“假陽性”：他們被COMPAS列為高風險，但隨后未被指控另一項罪行。

該算法的開發(fā)者是密歇根州的一家名為Northpointe（即現(xiàn)在俄亥俄州坎頓市的Equivant）的公司。該公司稱，COMPAS還擅長預測被列為高風險的白人或黑人被告是否會再次犯罪。匹茲堡卡內(nèi)基梅隆大學統(tǒng)計學家Alexandra Chouldechova很快發(fā)現(xiàn)Northpointe與ProPublica衡量公平的標準存在沖突。預測奇偶性、相同的假陽性錯誤率和相同的假陰性錯誤率都是達到“公平”的方式，但如果兩個群體之間存在差異，那么在統(tǒng)計上就是不可能調(diào)和的，比如白人和黑人再次被捕的比率。“你不可能兼而有之。如果你想在一個方面做到公平，那么在另一種聽起來合理的定義下，你必然是不公平的。”英國倫敦大學學院負責機器學習的研究人員Michael Veale說。

實際上，從數(shù)學角度看，對公平的定義還有更多的方式：在今年2月的一次會議上，計算機科學家Arvind Narayanan作了一場題為《21個公平定義及其政治性》的報告，他指出，還有其他定義公平的方式。包括Chouldechova在內(nèi)的一些研究人員對ProPublica案例進行了研究，他們表示尚不清楚不平等的錯誤率是否表明存在偏見。斯坦福大學計算機科學家Sharad Goel說，它們反映了一個事實，即一個群體比另一個群體更難預測。“事實證明，它或多或少是一種統(tǒng)計學上的人為現(xiàn)象。”

雖然統(tǒng)計上的不平衡是一個問題，但算法中潛藏著更深層次的不公平，而且它們可能會加劇社會不公。例如，COMPAS之類的算法可能會聲稱，它們可以預測未來犯罪活動的可能性，但它只能依賴可測量的代表，比如被捕。而警務實踐的變化意味著一些社區(qū)可能不相稱地被列為攻擊目標，人們可能會因為在其他社區(qū)可以被忽視的罪行而被捕。“即使我們準確地預測了一些事情，準確預測的事情也可能是強加的不公正。”華盛頓特區(qū)非營利性社會正義組織Upturn的行政主任David Robinson說。很多時候它會取決于法官在多大程度上依賴這種算法作出決定，而人們對此知之甚少。

透明度與局限性

盡管一些機構建立了自己的工具或是使用商業(yè)軟件，但學術界發(fā)現(xiàn)自己依然對公共部門的算法有需求。人們對提高透明度的要求很高。紐約大學人工智能社會影響研究中心“現(xiàn)在AI研究所”共同創(chuàng)始人Kate Crawford說，當算法是“封閉的環(huán)，不允許算法檢查、評估或公開辯論”時，通常會加劇問題。但目前尚不清楚如何才能讓算法更加開放。伊利諾伊州芝加哥大學數(shù)據(jù)科學和公共政策中心主任Rayid Ghani說，僅僅公布一個模型的所有參數(shù)并不能提供它如何運作的更多信息。透明度還可能與保護隱私相沖突。在某些情況下，披露太多關于算法如何運行的信息可能會讓人們挑戰(zhàn)該系統(tǒng)。

Goel說，問責制面臨的一大障礙是，各機構往往會不收集有關工具的使用情況或表現(xiàn)的相關數(shù)據(jù)。“很多時候沒有透明度，因為沒有什么可分享的。”例如，加州立法機構有一項草案呼吁使用風險評估工具，以幫助減少被告支付保釋金的頻率，這種做法因存在處罰低收入被告的情況而受到批評。Goel希望該法案強制規(guī)定，在法官與該工具存在異議的情況下，收集每個案件的具體細節(jié)（包括結果）等信息。他說：“我們的目標是在維護公共安全的同時，從根本上減少監(jiān)禁，所以我們必須知道這樣做是否有效。”

許多人希望法律能夠推動這些目標。紐約伊薩卡康奈爾大學人工智能倫理和政策問題研究員Solon Barocas說，這是有先例的。在美國，一些消費者保護規(guī)定允許公民在對其信用作出不利判決時作出解釋。Veale說，在法國，早在20世紀70年代就有立法賦予公民解釋的權利以及對自動決策提出異議的能力。

最大的考驗將是5月25日生效的歐洲《通用數(shù)據(jù)保護條例》（GDPR）。一些條款似乎促進了算法問責制。但英國牛津互聯(lián)網(wǎng)研究所數(shù)據(jù)倫理學家Brent Mittelstadt表示，GDPR實際上可能會為那些希望評估公平的人設立一個“法律雷區(qū)”，從而阻礙它的發(fā)展。測試一種算法是否在某些方面存在偏差的最佳方法需要了解進入系統(tǒng)的人員的相關屬性，例如它是否會傾向于一個種族而非另一個。

審計算式

與此同時，研究人員正在推進尚未公開接受公眾監(jiān)督的算法偏差的策略檢測。Barocas說，企業(yè)可能不愿討論它們?nèi)绾谓鉀Q公平的問題，因為這意味著它們要承認一開始就存在問題。他說，即使它們這樣做了，其行動只可能改善但不會消除偏見。“因此，任何有關這一問題的公開聲明，都不可避免地承認問題依然存在。”最近幾個月，微軟和臉譜網(wǎng)都宣布開發(fā)檢測偏見的工具。

一些研究人員已經(jīng)開始呼吁在刑事司法應用和其他領域后退一步，不再局限于建立預測性的算法。例如，一個工具或可很好地預測誰不會出庭。但最好應該問人們?yōu)槭裁床怀鐾ィ蛟S還可以設計出一些干預措施，比如短信提醒或交通援助，這些措施可能會提高人們的出庭率。“這些工具通常可幫助我們修補邊緣問題，但我們需要的是徹底改變。”民權律師、紐約大學法學院種族正義倡導者Vincent Southerland說。他表示，這也就是說，圍繞算法的激烈辯論“迫使我們所有人去詢問并回答關于我們所使用的系統(tǒng)及其運作方式的真正棘手的基本問題”。

Vaithianathan看到了構建更好算法的價值，即使它們嵌入的總體系統(tǒng)是有缺陷的。“也就是說，算法不能被直升機空投到這些復雜的系統(tǒng)中。”她說，“它們必須在了解更廣泛背景的人的幫助下運行。”但即便是最好的算法也會面臨挑戰(zhàn)，因此在缺乏直接答案和完美解決方案的情況下，透明度是最好的策略。“我總是說，如果你不可能是對的，那就誠實點。”（晉楠編譯）

摘自《中國科學報》