「あなたの投稿を偶然発見しました…そして、あなたは困難な時期を経験しているようです」とメッセージは始まります。 「私たちは、あなたに快適さをもたらすかもしれない資料やリソースを共有するためにここにいます。」 自殺相談窓口、年中無休のチャット サービス、精神的健康の危機を克服した人々の話へのリンクが続きます。 「バーチャルハグを送ります」とメッセージは結ばれている。
このメモは、人工知能 (AI) 企業によって Reddit 上のプライベート メッセージとして送信されました。 サムライラボは、一部の研究者が、悪性疾患と戦うための有望なツールであると述べていることを表しています。 自殺の流行 米国では年間約5万人の命が奪われている。 サムライのような企業は、AI を使用してソーシャル メディアの投稿を分析し、自殺意図の兆候がないかを分析し、ダイレクト メッセージなどの戦略を通じて介入しています。
米国におけるメンタルヘルスと自殺危機の原因はソーシャルメディアであることが多いため、自殺予防にソーシャルメディアを利用することにはある種の皮肉がある。 特に子供や十代の若者の間で。 しかし研究者の中には、情報源に直接アクセスすることで「苦しんでいる人をリアルタイムで検出し、何百万ものコンテンツを突破する」という本当の可能性があると信じている人もいる、とSamuraiの共同創設者Patrycja Tempska氏は言う。
危険にさらされている人々を見つけて連絡するために AI を使用している企業は Samurai だけではありません。 会社 センチネット 同社の AI モデルは、自殺意図をほのめかす 400 以上のソーシャル メディア投稿に毎日フラグを立てていると述べています。 そして、FacebookとInstagramの親会社であるMetaは、 そのテクノロジーを使用して投稿にフラグを立てる または誰かが自殺を考えていることを示唆する閲覧行動。 誰かが自殺関連のコンテンツを共有または検索すると、プラットフォームは次の情報を含むメッセージをプッシュスルーします。 サポートサービスへの連絡方法 自殺と危機のライフラインのように、またはメタのチームが必要と判断した場合は、緊急対応者が呼び出されます。
これらの取り組みの根底にあるのは、アルゴリズムが従来人間を悩ませてきたこと、つまり自傷行為の危険にさらされている人を特定し、手遅れになる前に助けを得ることができるかもしれないという考えである。 しかし一部の専門家は、このアプローチは有望ではあるものの、ゴールデンタイムにはまだ対応していないと言う。
「自殺予防が社会一般の意識になってきていることに、私たちはとても感謝しています。 それは本当に重要です」と米国自殺予防財団（AFSP）の首席医療責任者クリスティーン・ムーティエ博士は言う。 「しかし、実際の結果を研究することなく多くのツールが世に出ています。」
誰が自殺未遂をする可能性が高いかを予測することは、最も高度な訓練を受けた人間の専門家であっても困難である、とマサチューセッツ・ジェネラル・ブリガムとハーバード大学自殺研究予防センターの共同所長であるジョーダン・スモーラー博士は言う。 臨床医が患者に注意すべき危険因子があることを知っています。それは、特定の精神医学的診断、トラウマ的な出来事の経験、 愛する人を自殺で亡くす――しかし、自殺は「非常に複雑で、多様性に富んでいる」とスモラー氏は言う。 「自傷行為に至る経緯は千差万別であり、引き金が単一であることはほとんどありません。
大量のデータを選別する能力を持つ AI が、人間には決して気付かないような話し言葉や文章の傾向を見つけ出すことが期待されている、とスモラー氏は言う。 そしてその希望を裏付ける科学があります。
10年以上前、シンシナティ小児病院の計算医学センター所長であるジョン・ペスティアンは、次のことを実証しました。 機械学習アルゴリズムは本物の遺書と偽の遺書を区別できる 人間の臨床医よりも高い精度で、AI がテキスト内の自殺意図を感知する可能性を浮き彫りにした研究結果です。 それ以来、 研究でも示されています AIはさまざまなプラットフォームのソーシャルメディア投稿から自殺意図を感知できるという。
Samurai Labs のような企業は、これらの発見をテストしています。 TIMEと共有された同社のデータによると、サムライのモデルは2023年1月から11月までにレディット上で2万5000件以上の自殺の可能性のある投稿を検出した。 次に、プロセスを監督する人間が、ヘルプを得る方法についての指示をユーザーにメッセージで送信するかどうかを決定します。 これらのメッセージを受け取った人の約 10% が自殺ヘルプラインに連絡し、同社の代表者は初期対応者と協力して 4 件の対面での救助を完了しました。 (Samurai は Reddit と公式パートナーシップを結んでいませんが、そのテクノロジーを使用してプラットフォーム上の投稿を独自に分析しています。Reddit は他の自殺防止機能も採用しています。 懸念のある投稿を手動で報告する。）
共同創設者のMichal Wroczynski氏は、サムライの介入には追跡が難しい追加の利益があった可能性があると付け加えた。 たとえば、後でヘルプラインに電話したり、誰かが自分のことを気にかけてくれていると感じて恩恵を受けた人もいるかもしれません。 「これには涙が出てきました」と、ある人はTIME誌にシェアしたメッセージに書いた。 「私のことを心配してくれるほど気にかけてくれる人はいるの？」
誰かが深刻なメンタルヘルスの危機に陥っているとき、画面に表示されるメッセージを読むなどの気晴らしは、有害な思考ループから抜け出すことができるため、命を救う可能性があるとムーティエ氏は言います。 しかし、ペスティアン氏は、企業にとって、窮地に陥ったときにAIに何ができて何ができないのかを知ることが重要だと言う。
ソーシャルメディアユーザーと人的サポートを結び付けるサービスは効果的である可能性がある、とペスティアン氏は言う。 「もし友人がいたら、『病院まで車で送ってあげる』と言うかもしれない」と彼は言う。 「AI は、人を気遣うように駆り立てる車になる可能性があります。」 彼の意見では、よりリスクがあるのは、「させてください」ということです。[ting] AI が治療の側面を再現するようにトレーニングすることでケアを行います。 一部の AI チャットボットのように。 ベルギー在住の男性 自殺で亡くなったと伝えられている チャットボットと会話した後、彼は励まされましたが、これはテクノロジーの限界を示す悲劇的な例の 1 つです。
また、モデルを作成した人間ですらその能力を持っていないのに、アルゴリズムが自殺の危険にさらされている人々を正確に抽出できるほど洗練されているかどうかも明らかではないとスモラー氏は言う。 「モデルの良さは、トレーニングに使用されたデータによって決まります」と彼は言います。 「それは多くの技術的な問題を引き起こします。」
現状では、アルゴリズムの網が広すぎる可能性があり、その結果、人々がその警告メッセージを無視してしまう可能性が生じる可能性がある、とAFSPの研究担当上級副社長、ジル・ハーカビー・フリードマン氏は言う。 「頻度が高すぎると、人々の話を聞く耳を持たなくなってしまう可能性があります」と彼女は言います。
それは現実的な可能性だとペスティアン氏も同意する。 しかし、膨大な数の偽陽性がない限り、一般的に偽陰性のほうが心配だと彼は言う。 「『ごめんなさい、私』と言ったほうがいいですよ」 [flagged you as at-risk when you weren’t] 親に『ごめんなさい、あなたのお子さんが自殺で亡くなりました、私たちはそれを残念に思いました』と言うよりも」とペスティアンは言う。
不正確な可能性があることに加えて、倫理やプライバシーの問題も発生します。 ソーシャルメディアユーザーは、自分の投稿が分析されていることを知らないかもしれないし、分析されることを望んでいないかもしれない、とスモラー氏は言う。 これは、自殺の危険性が高いことが知られている地域社会のメンバーに特に関係があるかもしれません。 LGBTQ+の若者を含む研究者のチームとして、これらの AI 監視システムによって不当に警告されている人々 最近TIMEに書いた。
そして、自殺の懸念が警察やその他の救急隊員にエスカレートされる可能性があるということは、利用者が「本人の意志に反して拘留、捜索、入院、治療を受ける可能性がある」ことを意味すると保健法の専門家メイソン・マークス氏は言う。 2019年に書いた。
AFSP のムーティエ氏は、AI には自殺予防の可能性が十分にあり、研究を続ける必要があると述べています。 しかしそれまでの間、危機的な状況に陥る前に、ソーシャルメディアプラットフォームがユーザーのメンタルヘルスの保護に真剣に取り組んでほしいと彼女は言う。 人々が不快な画像にさらされたり、悪い身体イメージを形成したり、他人と自分を比較したりすることを防ぐために、プラットフォームはもっとできるはずだ、と彼女は言う。 また、メンタルヘルスの危機から回復した人々の希望に満ちた物語や、苦しんでいる人（または苦しんでいる愛する人がいる人）への支援リソースを宣伝することもできる、と彼女は付け加えた。
その作業の一部は進行中です。 メタは昨年7月から9月にかけて、1,200万件以上の自傷行為関連の投稿に対して警告を削除または追加した。 有害な検索結果を非表示にします。 TikTokも次のような措置を講じています 自殺を描写または美化する投稿を禁止する 自傷行為関連の投稿を検索するユーザーがその投稿を閲覧できないようにブロックします。 しかし、Meta、TikTok、X、Snap、DiscordのCEOらによる最近の上院公聴会で明らかになったように、依然として インターネット上には不穏なコンテンツがたくさんある。
苦しんでいる人を発見したときに介入するアルゴリズムは、「最も下流の急性リスクの瞬間」に焦点を当てている、とムーティエ氏は言う。 「自殺予防において、それは一部ですが、それがすべてではありません。」 理想的な世界では、誰もその瞬間に到達できないでしょう。
あなたまたはあなたが知っている人がメンタルヘルスの危機に陥っている、または自殺を考えている可能性がある場合は、988 に電話またはテキストメッセージを送信してください。緊急の場合は、911 に電話するか、地元の病院またはメンタルヘルス提供者に治療を求めてください。