医療現場でハルシネーションが起きたら?

 AP通信の記事では、こうした生成AIを活用した文字起こしの際のハルシネーションが、医療の現場で発生した場合の影響について深掘りしている。

 同記事によれば、バイデン政権でホワイトハウス科学技術政策局を率いていたアロンドラ・ネルソンは、このようなミスが特に病院の現場で「本当に深刻な結果」をもたらす可能性があると述べている。

 実際にコーネック教授らの論文でも、医療や心身に関するハルシネーションが起きていることが指摘されている。

 たとえば、「消防士か救助隊が来るかもしれない」という発話に対し、Whisperが「少なくとも1 人の作業員が重度のショック状態になって到着する可能性がある」という情報を勝手に付け加えたケースが見られたそうだ。また存在しない薬の名前が追加されることもあったそうである。

 ハルシネーションによって、こうした架空の薬リストや誤った健康状態に関する情報が生成され、患者記録に含まれてしまうと、誤った診断や治療を導く結果になる恐れがあるとコーネック教授らは指摘している。

 仮に先ほどのケースとは逆に、患者の状態を、実際よりも軽く報告するようなハルシネーションが起きていたとしたら。それが誤情報だと確認するまでの時間が、患者の生死を分けてしまうかもしれない。

 医療現場における音声テキスト化アプリケーションのミスについては、既にさまざまな実例が報告されている。