それなのに医療機関で導入が進むAI関連アプリ
たとえば、医療関係者向けサイトのKevinMD.comに匿名の医師が投稿した記事によれば、「彼はガバペンチンを1日903回服用し続けています」などというあり得ない文字起こしが行われることもあったそうだ(ガバペンチンは疼痛の管理や発作の治療に使用される薬)。
そこに生成AIのハルシネーション問題が加われば、致命的なミスが発生する確率はさらに高まる。
では、生成AIを活用した音声テキスト化ツールの導入を控えようという動きが起きているかというと、残念ながら現状はその逆のようだ。AP通信の記事によれば、ますます多くの地域において、医療機関によるAIを活用した関連アプリケーションの導入が進んでいるそうである。
そのひとつであるミネソタ州では、3万人以上の臨床医と40の医療システムが、Nablaという企業がWhisperをベースに開発したAIツールを使用しているとのこと。同社によれば、既に推定で700万件もの診察記録の書き起こしに、このツールが利用されているそうだ。
また同社は、Whisperのハルシネーション問題については把握しているものの、「データの安全上の理由」からオリジナルの音声データはテキスト化が完了した時点で消去しており、元データとの比較検証は不可能だと述べている。
医療関係者と患者とのやり取り、あるいは医療関係者同士のやり取りの中には、患者個人のプライベートな情報が含まれる可能性が高い。その意味で、音声データを長期間保管するのはリスクを高めることになるが、ハルシネーションがある中で元データを消去するのは、誤情報のみが唯一の情報として扱われてしまうリスクを生むことになるだろう。