人種差別で告発されたAIはどのようにしてアパートの賃貸を狂わせたのか

人工知能 レンタルを壊した。メアリーはマサチューセッツ州東部の郊外にあるアパートに定住した。しかし、彼女が訴訟を起こしてから 2 か月以上が経過した 2021 年 5 月、この警備員は、コンピューター プログラムが 彼の要求を拒否した。

Mary のプロフィールは、SafeRent と呼ばれる AI を活用したテナント スクリーニング ツールによって承認されました。このソフトウェアは、Mary Louis にスコア 384 を割り当て、また「拒否」という単語も割り当てました。したがって、合格となる予想スコア 443 には程遠いものでした。セーフレントはスコアの計算方法については説明していない。 「メアリーさん、残念ながら、すべての潜在的なテナントを審査するために使用しているサードパーティ サービスがあなたのレンタルを拒否したことをお知らせします。残念ながら、サービスの SafeRent レンタル スコアは、レンタル基準で許可されているスコアよりも低かったです」とメールに書かれていました。

確かに、メアリーさんは銀行口座から多額の引き落としをしていましたが、彼女が17年間借りていた宿泊施設の所有者は、メアリーさんが常に期限通りに家賃を支払ったという証明書を発行してくれました。メアリーさんは、低所得テナント向けのバウチャーや、家主を安心させる米国政府からの財政援助の恩恵を受けています。さらに、収入をしっかり管理している息子が保証人になってくれる可能性もある。こうした保証にもかかわらず、メアリーはこの宿泊施設をあきらめて捜索を再開しなければなりませんでした。

賠償金200万ドル

«AIは私の行動を知りません。ソフトウェアは、私が銀行口座からの引き落としの支払いが遅れていることを認識していましたが、私がまだ家賃を払っていることは認識していませんでした。» 、セーフレントを法廷に訴えたメアリーさんはこう訴えます。彼女によると、アルゴリズムは彼女の借金を考慮しましたが、彼女が使用している住宅バウチャーは考慮していませんでした。 彼女はアルゴリズムが黒人とヒスパニック系のテナントを差別していると非難した なぜなら、この拒否の影響を受けるテナントはメアリーだけではないからです。住宅バウチャーの恩恵を受けているマサチューセッツ州の黒人およびヒスパニック系テナント 400 人以上が、セーフレント スコアを理由に賃貸申し込みを拒否されています。

セーフ レントは 11 月 20 日にメアリーと合意に達しました。メアリーは、5 年間住宅券を使用したテナントに対する評価システムの使用を停止することに同意しました。報道されているように、この種の企業が事業変更に同意するのは珍しい。 ガーディアン 。同社はメアリーさんに200万ドル以上、つまり約190万ユーロ以上の補償金も支払った。 「セーフレントはスコアが適用されるすべての法律に準拠していると信じ続けていますが、訴訟には時間と費用がかかります同社広報担当のヤズミン・ロペス氏は語った。

AI の害に関する報告書を執筆した弁護士のケビン・デ・リバンは、人工知能の影響を次のように非難しています。極めて合理的な意思決定システムであるAIシステムに依存してはいけないと痛感しました彼によれば、このシステムは「s」に基づいてさまざまな仮説を確立します。ジャンク統計科学» それが彼の言うところの「ナンセンス»。