どうやらディープフェイクによる経済的損害が半端ないことになってきているようです。
SBBITの記事『ディープフェイクの「精度向上」がヤバすぎる、2027年には被害額6兆円超に』によると、以下のような点が指摘されています。
記事の内容
ディープフェイクの精度向上
- ディープフェイク技術はAIの進化により急速に発展。
- 初期のディープフェイクは品質が低く、明らかにフェイクと分かるものだった。
- 2018年から2019年にかけて、AIによる画像生成技術が向上。
- GANの登場により画像の品質が大幅に向上。
- 2020年以降、Transformers技術により長時間動画の一貫性が向上。
- 2023年にはディープフェイクコンテンツが前年比3000％増加。
ディープフェイク悪用による被害
- デロイトの推計によると、2023年の詐欺被害額は123億ドルから2027年には400億ドルに達する見込み。
- 年平均成長率は32％で、4年間で被害額が3倍以上に。
- 新しい生成AIツールにより、低コストでディープフェイクが作成可能。
- 特に金融サービス業界が標的となるケースが増加。
- 2023年にフィンテック業界でのディープフェイク事案は700％増加。
- 音声ディープフェイクによるコンタクトセンター詐欺の年間損失は約50億ドル。
- 2024年にはディープフェイク関連の事案が前年比60％増加し、全世界で15万件に達する予測。
- 同意なしの性的コンテンツや本人確認書類の偽造が懸念される。
- ダークウェブで詐欺ソフトウェアが販売される闇産業が形成。
実際に起きたディープフェイクによる詐欺被害
- 企業幹部を狙ったディープフェイク詐欺が増加中。
- 世界最大の広告代理店グループWPPのCEOを狙ったWhatsApp詐欺の事例。
- 香港での企業幹部なりすまし事件で数千万ドルの被害の事例。
- AIを悪用したサイバー攻撃が増加しているとの報告。
ディープフェイクだけではないAIによるサイバー攻撃
- Ivantiの調査によると、企業の多くはAIを悪用したサイバー攻撃が増加していると報告。
- AI駆動のサイバー攻撃は今後さらに増える見込み。
- 特に警戒される脅威としては、フィッシング（45％）、ソフトウェアの脆弱性を狙った攻撃（38％）、ランサム攻撃（37％）、APIの脆弱性を狙った攻撃（34％）が挙げられる。
ディープフェイク対策の現状
- 銀行など金融機関はAIや機械学習を用いた不正検知システムを導入。
- JPモルガンはメール詐欺検出に大規模言語モデルを使用。
- マスターカードは取引の正当性を予測する「Decision Intelligence」ツールを開発。
- 既存のリスク管理フレームワークは新たなAI技術に対応しきれない可能性がある。
国を挙げて取り組むディープフェイク対策
- 目視でのディープフェイク判別が困難になっているとの指摘あり。
- OpenAIが自社のAIを使ったディープフェイク検出ツールを提供予定。ただし、ディープフェイクは単一ツールで作られることは稀で、このようなツールの有効性には限界がある。
- C2PAイニシアチブがAI生成コンテンツの制作過程を食品成分表示のような形で示す規格を開発中。
- 英国政府が「ディープフェイク検出チャレンジ」を実施。
- 一般向けの啓発活動が進められている。
アイデンティティの観点からの感想
生成AIがアイデンティティにもたらすインパクトは多岐にわたります。ディープフェイクはその一側面です。
対ディープフェイク管理策ということでは、
- 発信者認証
- 音声や顔画像によって人間が判断するのではなく、重要なトランザクションの前には情報発信者を必ず高度認証で認証（技術的対策）
- これを担保するための組織的対策
- 身元確認書類の偽造対策としてデジタル化を推進
- 拡散される情報自体の性質の明示
- こうした対策を実施するための人的対策
などが必要となるでしょう。
発信者認証
発信者認証の例としては、電話やビデオなどでの依頼に対して、必ずCIBA1を使って、名乗っている人の事前に登録されたデバイスにプッシュ通知を送ってユーザ認証を行うなどがあげられます。
一方、このようなことを電話口の人が要求しても、その人がクビになったりしないことを保証してあげるというようなことも重要です。このような詐欺の典型的な手口として、電話口の人が逡巡すると「会社の存亡がかかっているのだ。今すぐやらないとお前はクビだ。」などとプレッシャーをかけるのですが、こうしたプレッシャーから守って上げる必要があるのです。これは技術的対策だけでは難しく、社内規定などの組織的対策が必要になります。
また、ディープフェイクによる身元確認書類の偽造に対しては、デジタル署名をつけたものへの移行が有効です。幸いにして日本では公的個人認証や、デジタル庁デジタル認証アプリなどが使えますから、こうしたものに依拠して、高いレベルの身元確認を行っていくことが求められると思います。
拡散される情報自体の性質の明示
拡散される情報自体の性質の明示は、その情報がどのように生成されたのかと情報の発信源が誰なのかということの両方があると思います。これは、アイデンティティの一貫性を守るうえでとても重要です。たとえば、不同意の性的なコンテンツや、犯罪を犯している場面の動画を作って拡散されたらどうなるでしょう？それが信じられてしまえば、その人物への他者の認識が変わってしまい、信頼が失墜するのは間違いありません。
こうしたことを敷設役割を担うのが、C2PAやOriginator Profile です。その動画や画像が生成AIによるものであるとか、発信者が誰であるかなどを示してくれるからです。ただ、このあたりは言論の自由とのからみでは少し注意が必要です。
C2PAとOriginator Profile（OP）は、デジタルコンテンツの信頼性を向上させる技術ですが、言論の自由に対してそれぞれ異なる影響を持つ可能性があります。
C2PAと言論の自由
C2PAは、デジタルコンテンツの出所や編集履歴を証明するための技術であり、フェイクニュースやディープフェイクの拡散を防ぐことを目的としています。しかし、この技術が誤用されると、言論の自由に対する制約を引き起こす可能性があります。例えば、C2PAのシステムがジャーナリストの身元を特定するために使用され、政府がそれを利用して言論を制限することが懸念されています。また、C2PAによるコンテンツの追跡が、特定の法律を強制するために利用される可能性もあります。
Originator Profileと言論の自由
Originator Profileは、ウェブコンテンツの発信者の真正性と信頼性を確認するための技術です。これは、偽情報や広告詐欺の抑止を目的としていますが、発信者の身元を特定することで、匿名性が失われ、言論の自由が制約される可能性があります。特に、発信者の情報が不適切に使用されると、自己検閲を促すことになりかねません。
言論の自由への影響
- プライバシーの懸念: どちらの技術も、発信者の情報を収集・管理するため、プライバシーの侵害が懸念されます。これにより、発信者が自由に意見を表明することが難しくなる可能性があります。
- 誤用のリスク: 技術が政府や他の権力者によって誤用されると、言論の自由が制限されるリスクがあります。特に、ジャーナリストや活動家がターゲットにされる可能性があります。
- 技術の透明性と説明責任: これらの技術がどのように使用され、データがどのように管理されるかについての透明性が求められます。適切な説明責任がない場合、言論の自由が脅かされる可能性があります。
これらの技術は、デジタルコンテンツの信頼性を高めるために重要ですが、言論の自由を守るためには、その使用方法や管理について慎重な配慮が必要です。
人的対策
最後の人的対策もとても重要です。せっかく技術的対策を行っても、それが使われなければ意味がありませんから。ただ、これはなかなか難しいです。社員など組織内の構成員に対しては、組織的教育や罰則などで強制していくことも可能ではありますが、一般大衆に対してはなかなか難しい。このあたりは課題かなと思います。
おわりに
攻撃側のツールの能力は指数的に進化する一方、人間のスキルはそのように進化しないので、技術の支援なくスキルのみによる対抗には無理があります。なので、技術的対策を強力に推進していくことが必要です。
その一方、社会的発信に関しては言論の自由との関係も重要です。なので、やりすぎは禁物です。また、人的対策の困難性も意識しておく必要があります。
こうしたことを総合的に鑑みて、バランスよく対策を施していくことが肝要です。