カタルーニャの囚人の危険性を評価するアルゴリズムは「ランダム」に機能する | テクノロジー

カタルーニャの刑務所制度 15年間にわたりRisCanviというアルゴリズムを使用しているこれは、裁判官が第三級の判決や仮釈放の許可などの微妙な決定を下すのに役立つはずである。逆監査（公式データにアクセスせずに実施）では、このプログラムのプロセスへの貢献は疑わしいと結論付けられている。「私たちが監査したシステムは ランダムに行動するようだ同様の要因と行動の組み合わせが [de presos] 「非常に異なるリスクレベルの割り当てにつながる可能性がある」と、EL PAÍSが入手したEticas Foundationが作成した報告書には記されている。

スペインで受刑者が特定の刑務所許可証を申請すると、その申請を認可または却下しなければならない裁判官は受刑者に関する報告書を受け取る。受刑者が収容されている施設の専門家が作成したこの文書には、決定の根拠となる要素（履歴、行動など）が記載されている。カタルーニャでは、この報告書の一部は RisCanvi によって作成され、一連の変数に基づいて対象者の再犯リスクを計算し、さまざまな重み付けを割り当てている。この重要な情報、つまりアルゴリズムの構造は公開されていない。

刑務所の許可証のようなデリケートな問題を扱っているにもかかわらず、RisCanviは、必要な影響評価プロセスを受けていない。 欧州の人工知能規制「RisCanviのアルゴリズムは人工知能（AI）を使用していませんが、刑事司法や刑務所の問題など、リスクの高い問題に関連する決定を下す技術的なプロセスであるため、規制によって定められたAIの広い定義に該当し、規制の対象となります」と、RisCanviの創設者兼CEOであるジェマ・ガルドン氏は強調しています。 エティカスアルゴリズム監査を専門とする企業で、Eticas Foundation もその 1 つです。

カタルーニャ州政府が従来の監査の無償提供を拒否した後、ガルドン氏のチームはリバース監査を実施することを決定した。このタイプの分析はリバースエンジニアリングと呼ばれ、完成モデルから製品のコンポーネントと製造プロセスに関する情報を得るために実行されるプロセスである。RisCanviの場合、Eticasの研究者は、アルゴリズムが適用された元受刑者6人、それに詳しい社会教育者2人、専門の心理学者3人、弁護士4人、活動家1人に質問することから始めた。彼らはまた、2015年にカタルーニャの刑務所から釈放された3,600人の公開データを分析した。この情報を使用して、彼らはアルゴリズムの効果を評価し、それがどのように機能するかを理解しようとした。

「RisCanvi は、影響を受ける受刑者には知られていないシステムであり、その操作や重み付けについて訓練されていない、それを使用する多くの関係者から信頼されていないシステムであり、不透明であり、2016 年から AI 監査が義務付けられているスペインの自動意思決定システムの使用に関する現在の規制に準拠していない」と監査では述べられている。「しかし、何よりも、私たちのデータは、RisCanvi が公平でも信頼できない可能性があり、結果を標準化し、裁量を制限することに失敗したことを示しています。以前の研究と同様に、RisCanvi が信頼できるとは考えていません。そのためには、リスク要因、リスク行動、リスクスコアの間に明確な関係性が必要になるためです。」

「これらは、私たちが収集できたデータを分析して得た結論です。司法省が他のデータを持っているなら、喜んで検証し比較します」とガルドン氏は言い、ガナラリタットの協力不足に不満を漏らした。彼のチームはこのプロジェクトに2年間取り組んできた。「司法省は、私たちがこの仕事をしていることを知ると、刑務所に関係する職員が私たちが最初に出した情報要求に応じることを禁じました」と彼は説明する。省が内部監査を実施すると約束したため、彼らは調査を中止した。「その方向への動きのニュースが6か月間もなかったため、私たちは作業を再開しました」とガルドン氏は言う。

報告書のためにインタビューを受けた心理学者の一人は、RisCanvi によって評価されていることを知っている受刑者はほとんどいないと述べている。「受刑者は、このアルゴリズムが受刑者が享受する刑務所の福利厚生の質と状況を決定することを知らない」と監査報告書は述べている。「ツールが人間の行動を予測できるとは思えません。ツールは大量の情報を収集し、その結果は明らかに客観的ですが、私たちが話しているのは人間についてです」と倫理チームが相談した弁護士は述べている。

RisCanviについてわかっていること

RisCanvi は、受刑者の報告書をコンピューターに入力する警官からシステムに提供されるデータによって 6 か月ごとに更新されます。まず、システムの短縮版 (RisCanvi スクリーニング) が適用されます。これは、受刑者の暴力歴 (ある場合) や初めて犯罪を犯した年齢から、薬物やアルコールの問題があったかどうか、または現在も問題を抱えているかどうか、資産や家族のサポートがあるかどうかまで、10 項目で構成されています。

アルゴリズムの結果は、低リスクまたは高リスクになります。リスクが高い場合は、43 の要素で構成される RisCanvi の拡張バージョンがアクティブになり、警官が受刑者と予定された面接を行う必要があります。RisCanvi のフルバージョンでは、受刑者の自宅と刑務所の距離、環境の犯罪歴、教育レベル、社会化の難しさ、IQ、人格障害、当該人物が家族の主な収入源であるかどうか、衝動性や感情の不安定さのレベルなどの問題が考慮されます。これらの各要素は自動的に重み付けされ、その重みは性別、年齢、国籍によって異なります。アルゴリズムの最終判定は、低リスク、中リスク、高リスクのいずれかになります。

しかし、アルゴリズムの仕組みを理解するための重要な情報である、式内の各変数に割り当てられる重みは公開されていない。このツールの擁護者の中には、公開されれば、囚人たちは小さな行動で RisCanvi の評価結果を改ざんして自分の利益に沿わせるために何をすべきかを知るだろうと主張する人もいる。ガルドン氏はこの批判を理解していない。「自分が何で裁かれているのかを知ることは、法の支配の基本ルールです。これが問題だと主張することは、私たちの法制度の非常に基本的なものが何に基づいているかを理解していないことです」と彼は説明する。

不十分な評価

アルゴリズム監査を行うことは無意味だと考える専門家もいるし、 このようなことをするということは、長年疑問視されてきた働き方を正当化することを意味します。「保険数理手法については、それがなぜ私たちの法文化の正義の概念と矛盾するのかを説明するために、多くの論文が書かれてきた。私たちの法文化は方法論的には個人主義的だが、人を評価するのに一般的な統計的手法（したがって個人的ではない）を使用している」と、アルゴリズム倫理の専門家で欧州議会などの顧問を務めるロレーナ・ジャウメ・パラシ氏は要約する。

「このアルゴリズムはすべての人を平等にすることを目指している。専門家が仕事をより効率的に行えるようにすることが目的だが、拘束力はない」と同氏は声明で述べた。 アントニオ・アンドレス・プエヨ氏へのインタビューバルセロナ大学の暴力心理学教授であり、RisCanviを開発した研究グループのディレクター。

「拘束力はないが、義務である」とジャウメ・パラシ氏は答える。専門家は、司法の任務とは何か、「そしてなぜこの種のシステムは行政手続きの変更ではなく、これまで行われてきたことを継続するために単にデジタル化された古い方法なのか」を説明する時が来たと考えている。

フォローできます 国 テクノロジー で フェイスブック ええ バツ またはこちらからサインアップして ニュースレターセマナル。

_