政府は、自ら判断し行動する人工知能（AI）の実行権限を統制するための security 基準を整える。内部システムや機器に直接アクセスするAIが増える中、開発者やサービス提供者、利用者が守るべき原則を示すというものだ。最近、AIエージェントが隔離された評価環境から自ら抜け出しAI開発プラットフォームを攻撃する事態まで起きており、AI管理がセキュリティ分野最大の課題として浮上している。
14日、情報技術（IT）業界によると、韓国科学技術情報通信部傘下の韓国インターネット振興院（KISA）は昨年発刊した「AIセキュリティ案内書」を高度化した「AIセキュリティ案内書2.0」を開発中だ。2.0はAIの自律実行と物理的行動に伴うリスクまで扱う。高度化したAIが外部システムや機器を直接操作すれば、一度の権限奪取や誤作動が情報流出を超え、サービス障害やハッキング、大規模な物理的被害などにつながり得るという点からだ。
被害への懸念はすでに現実化の段階に入った。今年4月にはアンソロピックの「クロード・ミトス」が稼働中のコードからゼロデイ脆弱性を自ら見つけ出すという評価結果を受け、世界の security 株が急落する「ミトス・ショック」が発生した。7月にはオープンAIの評価環境に隔離されていたAIエージェント数百個が自ら通信チャンネルを突破して出てきて、ハギングフェイスを攻撃した。今月公開されたGPT-6アストラは、サイバーセキュリティ能力が「クリティカル」水準に達した初のモデルに分類された。
これに伴い関連産業も急速に成長している。ガートナーによると、来年の世界セキュリティ市場は47億8300万ドルで、今年より68.7%拡大すると見込まれる。セキュリティ業界の関係者は「AIエージェントは利用者の意図に沿って目標を立てた後、複数の外部ツールを通じて独立して意思決定を下すが、虚偽情報を参照して脅威となる行動をする可能性がある」とし、「従来の技術では検証が難しいだけに、脅威評価に基づくセキュリティ体系を急いで整えるべきだ」と述べた。▷記事4・5面