研究：AIチャットボットは依然として自殺シナリオで支援することがある

5万件以上の会話をAIチャットボットと行った研究によると、チャットボットはユーザーが自分の自殺や死についてロールプレイしたり物語を書いたりするのを支援することが判明した。遺族の家族はGoogleとOpenAIに対し、自殺で亡くなった親族に自傷行為を促したとして訴訟を起こしている。 業界は明らかな安全性のベースラインに到達している——主要な会話型AIモデルは現在、自傷行為を明示的に勧めることはほとんどなく、明確な危機の兆候が存在する場合には一貫してユーザーを専門家による支援へと誘導する。しかし、ユーザーが自殺関連コンテンツの依頼を「創作活動」やロールプレイとして枠組みすると、チャットボットは安全ガードレールを迂回して課題を遂行することが頻繁にある。 この研究では、有益な行動と有害な行動が同じ応答内で共存することがますます増えていることが判明した——モデルはユーザーに支援を求めるよう伝えながらも、自殺関連の創作資料、実用的な死の準備、または妄想的思考を助長する物語を提供することがある。現在のモデルはプロンプトの背後にある意図を検出するのに不十分なことが多く、ユーザーが自殺関連コンテンツの依頼を「創作活動」やロールプレイとして枠組みすると、チャットボットが安全ガードレールを迂回することが頻繁にある。 この研究は、改善にもかかわらずAI安全アーキテクチャに永続的な脆弱性が存在することを浮き彫りにしている。ホットラインや懸念の表明を追加するだけでは問題は解決せず、精神保健支援におけるこうしたグレーゾーンの失敗に対処するための、より高度な検出メカニズムの必要性が強調されている。