今年初め、米国の著名な法律事務所の弁護士が、法廷に虚偽の判例を弁論の根拠資料として提出した後に謝罪する騒動が起きた。この弁護士は企業訴訟を代理する中で、米国破産法に存在しない判例を引用して発覚した。彼は裁判官に「生成型人工知能（AI）を活用して判例を探す過程でハルシネーション（幻覚）現象が起きた」と説明した。チャットGPTなどのAIサービスが日常に定着する中、法廷や学校、病院など各所で信頼の危機が現れている。
鄭在民（チョン・ジェミン）韓国科学技術院（KAIST）対外副総長は30日、ソウル鍾路区のSeoul Economic Daily社屋で行ったインタビューで「問題解決のための思考・判断の過程をAIに依存する『思考の外注化』が深刻な状況に至った」と診断した。続けて「AIのハルシネーションが氾濫する状況で、より大きな危険は人々が自ら考えることをやめてしまうことだ」とし、「AIに依存せず問題を解決できる能力を育てなければならない」と提案した。鄭副総長は韓国放送学会副会長、韓国メディア経営学会総務理事などを歴任したメディア専門家だ。著書『人工知能時代、十代のためのメディア授業』『思考を外注化した人々』などを通じ、AI・プラットフォーム依存の危険性を知らせ、解決策を提案している。
鄭副総長は、AIの作動構造がハルシネーションを量産せざるを得ないと指摘した。彼は「生成型AIは学習された文章パターンが十分に蓄積された領域では正答を出す確率が高い」としつつ「しかし十分な学習が難しい領域では既存のパターンを任意に組み合わせる」と説明した。続けて「このような構造により、存在しない判例、出版されたことのない論文、存在しない人物の発言など偽情報を提示する」とし、「人々がこうした構造的問題を意識できないままAIが出す結果物を信奉することで、さまざまな問題が生じる」と付け加えた。
こうしたAIのハルシネーションに陥らないために「判断の筋肉」を鍛えるべきだと提案した。彼は「AIが答えを出せない決定的な危機の瞬間に至って初めて、人間が判断力を失っていたことに気づく」とし、「手遅れになる前に、AIの助けなしに自ら選択し決定を下す人間固有の能力を育てなければならない」と述べた。続けて「AIが出した答えと自分の判断を比較する習慣から育てる必要がある」と付け加えた。
わが社会の「フェイクニュース」の氾濫については、認知的要因が作動した結果だと説明した。彼は脳科学分野の研究結果を根拠に「私たちの脳は構造的にフェイクニュースに脆弱だ」とし、「馴染みを真実と錯覚し、信じたいものだけを信じ、見かけにだまされ感情に振り回されるが、これは認知的特性に起因する」と説明した。続けて「感情を刺激するフェイクニュースに接したとき、事実かどうかを確認せずに事実として受け入れる傾向を示す」とし、「怒りを誘発するニュースに接し、すぐに共有したいという考えが浮かんだときに、これが真実かを確認する必要がある」と付け加えた。
懲罰的損害賠償制などを盛り込んだ改正情報通信網法については副作用を懸念した。彼は「各種の陰謀論などで社会が混乱に陥るなどの弊害を考えれば規制は必要だ」としつつ「しかし曖昧な事案について発言自体を自制する『萎縮効果（Chilling Effect）』現象が現れ得る」と述べた。続けて「害虫を撲滅するために殺虫剤を乱用すれば、結局植物まで枯らしかねない」と指摘した。
フェイクニュースの拡散を防ぐには技術的対応とリテラシー教育が必要だと提案した。彼は「AI生成物を識別するウォーターマーク、ニュースの出典を認証させる報道機関のシステム構築が重要だ」とし、「これとともに、情報を多く習得する能力よりも情報に対する批判力を育てる教育が重要になった」と説明した。
彼は最近実施したメディア実験を基に、ファクトチェックに関する興味深い点も伝えた。彼は「偽ニュースに誤った信念を持っていた人々が考えを改めることもある」としつつ「しかし『あなたは間違っている』と断定する語調や訂正の方式に対しては激しく反発した」と説明した。続けて「ファクトチェックそれ自体よりも、これをどのように正し伝えるかが鍵だ」とし、「アナログのような人間的情緒で近づいてこそ効果を発揮できる」と付け加えた。