政府が次世代人工知能（AI）に合わせてセキュリティ基準を再定立するのは、AIの発展によりサイバー攻撃の様相そのものが変わっているためである。攻撃方法を教えたりコードを作成していたAIが、脆弱性の探索からシステムへの侵入、データの窃取まで複数の段階を自ら遂行することで、攻撃に必要な時間と人員は減り、被害範囲は広がっている。攻撃者がより少ないコストでより多くの対象を狙えるようになった一方、防御側が脅威を発見し対応する時間は次第に短くなっているのだ。
13日（現地時間）、米国の情報技術（IT）専門メディアであるジ・インフォメーションによると、アンソロピックとオープンAI、グーグルはAI業界のための標準機構を共同で設立する案を議論している。AIが人間の統制を離れる恐れがあるという懸念の中で技術開発の速度を調節すべきだという声が高まる中、業界レベルの統制装置を設けようとする動きも具体化している様子だ。
AIを活用した攻撃の速度と規模は、すでに実際の侵害事例で表れている。アンソロピックが昨年12月から今年8月まで自社AIモデル「クロード」の悪用事例を分析し、今月10日に公開した報告書によると、国際ハッキング組織「シャイニーハンターズ」の協力勢力と推定される攻撃者らは、サービス型ソフトウェア（SaaS）企業に侵入した後、これを足がかりに顧客企業約200社のデータを抜き取った。その後はデジタル通行証の役割を果たす認証トークン（Azure ADトークン）2100余りの束が含まれたログインセッションデータを約34時間で窃取した。アンソロピックは、この作業のほぼすべてをAIエージェントが遂行したと説明した。別の攻撃では、窃取した開発者トークン一つを利用して約3時間で被害者のクラウド環境に対する管理者権限を確保した。サイバー犯罪組織がデータを盗むことは頻繁にあるが、AIが発展することでその規模が大きく増え、速度が速まっているのだ。
複数のAIを同時に投入して攻撃を分業する事例も確認された。中国のある犯罪集団は、クロードが24時間ずっと自律的に攻撃対象の脆弱性を探し、脆弱性を悪用しうる攻撃コード（エクスプロイト）を研究できるようにする自律型作業体系を設計・構築した。彼らは教育・医療・金融・製造企業や政府機関など世界の約50組織を標的とし、実際に多数のデータを窃取したが、ここでもエージェンティックAIが中核的な役割を果たした。特に一つのAIエージェントが作業を分けて複数の下位エージェントに任せる「エージェント・スウォーム（swarm）」方式を活用した。人が一つずつ指示しなくても複数の攻撃作業を並列で進められるようにしたのである。
アンソロピック側は「精巧な攻撃にもはや精巧な人間の攻撃者は必要ない」とし、「偵察、ツール開発からデータ処理と脆弱性の悪用に至るまで、攻撃のすべての過程がAIを通じて高度化した」と分析した。アンソロピックはまた「AIの役割がますます自律的な形態に変わっている」とし、「AIモデルの性能が次第に向上していることに伴う強化されたセキュリティ措置が取られなければ、AIによるリスクはさらに大きくなるだろう」と警告した。
グーグル脅威インテリジェンスグループ（GTIG）が今年第2四半期の侵害事故を分析する過程では、AIが攻撃時間を大幅に短縮した事例が確認された。攻撃者はすでに侵害したクラウド環境でエージェンティックAIを活用し、6時間もかからずに大規模な認証情報窃取作戦を企画・構築・実行した。AIは脆弱性を探索し、実行過程の誤りを解決する作業などを自律的に処理した。GTIGは、攻撃者がAIに断片的な質問をする段階を超えて複数の攻撃手順を自動化することで、防御側の対応時間が減っていると分析した。
実際にIBMが昨年3月から今年2月までの1年間に発生したハッキング被害企業602社を調査した結果、このうち25%がAIを活用した攻撃を受けたと回答した。前年比56%増加した数値で、AIベースの攻撃による被害は侵害事故1件当たり平均100万ドル（約13億4700万ウォン）の追加コストを発生させた。
韓国国内で起きるサイバー脅威も急増する傾向にある。韓国科学技術情報通信部によると、今年上半期に受け付けられたサイバー侵害事故は1236件で、昨年上半期より19.5%も増加した。科学技術情報通信部は「生成型AIの拡散により現在すべての攻撃が完全に自動化されたわけではないが、攻撃準備にかかる時間とコストが減れば、従来よりも多くの対象を短時間で分析できる」とし、「AIの悪用は既存のサイバー攻撃の速度と規模を増幅させる要因を超え、独立した新種のサイバー脅威として迫っている」と指摘した。
これに対し専門家らは、サイバーセキュリティの概念を探索中心から検証・速度中心へ高度化すべきだとみた。S2Wの梁鍾憲（ヤン・ジョンホン）統合分析室長は「ミトスのような高性能AIは脆弱性発見のコストを下げている」とし、「今後のセキュリティは脆弱性を見つけ出すことではなく、AIが見つけ出した脆弱性をどう検証し、どの順序で修正するのか、どうやって攻撃者より速く防御体系をつくり出すのかにより重きを置くべきだ」と提言した。