生成AIを使った詐欺が次に狙うのは、あなたの会社かもしれない 

ChatGPTが公開されたことで俄然注目を集めるようになった生成AIですが、テキストだけでなく音声や画像の分野でもAIによる自動生成の応用・実用化が進んでいます。

生成AIによる音声や画像のクローン・拡張サービスは始まっている

音声の生成AIでは、登録済みの音声（声優さんや機械生成のクローンなど）から希望するタイプの声を選び、その声でテキストを読み上げるサービスは既に始まっています。また、事故や病気で声を無くした人に声を取り戻すことができるような機器も実用化されています。声を再現するためにはAIに学習させなければなりませんが、録音素材や録画された素材からも学習が可能です。

画像生成AIも、既にインターネット上で各種サービスがスタートしています。これまでは絵やイラストの生成が主でしたが、Adobeがデスクトップ版Photoshopに統合させた新しいAIツールFirefly（ファイアフライ）を使った機能は、テキストプロンプト（文章での指示）で画像からコンテンツを「追加、拡張または削除」することを可能にしました。

プロモーション動画
Adobe Photoshop (beta) x Adobe Firefly: Announcing Generative Fill

まだ日本語には対応していないようですが、簡単な英語の指示で思いのままに写真のような画像を作ることができます。先日のワールドビジネスサテライト（テレビ東京系列）では、スタジオの写真を拡張（写っていない周辺をAIで生成）すると、本物のスタジオそっくりだと出演者から声が上がっていました。

サイバーエージェントが開発した画像生成AIシステムでは、ポーズや背景、人物のタイプなどを自由に指定して、写真のようなリアルな画像が生成できます。また、集英社は「週刊プレイボーイ」に、画像生成AIを用いたAIグラビアアイドル「さつきあい」をデビューさせ、デジタル写真集「生まれたて。」を5月29日に発売しました。しかし、様々な賛否の声が上がり、6月7日に販売が終了となりました。

さつきあいデジタル写真集 『生まれたて。』 販売終了のお知らせ

ネットで拡散されるディープフェイク動画

ChatGPTが話題になる前は生成AIという言葉はあまり馴染みがありませんでした。一方で、全くの別人の顔を有名人に換えて人を驚かせたり騙したりする動画が話題になりました。このときに使われたのがディープフェイクという技術で、生成AIの一つといえます。ディープフェイクはディープラーニング（AIの深層学習）とフェイク（偽物）を組み合わせた造語です。元々は映画の特殊メイクやいわゆるCGで表現して差し替えていた映像を、話し言葉や表情を演者に合わせてより自然に再現させる技術として発展してきました。しかし、この技術が悪戯や犯罪に使われるようになり、一時期はディープフェイクに関する報道も続きました。顔を有名人に換えたAV動画や、オバマ元大統領やトランプ前大統領の偽動画が公開されてネットを混乱させたこともあります。

最近では、ウクライナのゼレンスキー大統領のディープフェイク動画が話題になりました。見慣れた背景とカーキ色の服のゼレンスキー大統領が、国民や兵士に投降を呼びかけるもので、SNSでも拡散されました。しかし、ゼレンスキー大統領がすぐさま自分ではないと否定して騒ぎは治まりました。 ゼレンスキー大統領の動画もよく見ると首が細く長かったりと違和感があります。オバマ元大統領や他のディープフェイク動画もじっくり見ると違和感が感じられますが、ぱっと見では気づくのは難しいでしょう。

既に生成AIを使った詐欺が現実に

テレビでは、生成AIを取り上げる番組が増えました。ワールドビジネスサテライトでは、音声の生成AIで番組出演のアナウンサーの声を再現したツールを使って別人がなりすまし、移動中の同僚アナウンサーに電話をしたところ、全く違和感なく会話をする様子が紹介されました。電話の相手のアナウンサーは全くわからなかったと言います。
テレビ朝日系列のモーニングショーでは、このような生成AIを使ってなりすました電話で現金を振り込ませるなど、既に中国では被害が確認されていると紹介していました。

私たちの身近な所では、毎日山のように届くフィッシングメール。今は無差別・手当たり次第に送りつけているメールの多くは文面が不自然だったりしますが、生成AIにメールの文面を学習させ、いずれはより巧妙なフィッシングメールがピンポイントで送られるようになるでしょう。過去にはJALが偽メールを信じ込んで振り込んでしまうという事案が発生して話題になりましたが、既に気づかないまま同じような詐欺に遭っているかもしれません。

SNSで流れてくるニュースの中にも、生成AIで作られたフェイクニュースが紛れて拡散されるようになってきました。YouTubeにはウクライナの戦況を伝えるニュース動画だけでなく、本物の戦闘シーンのようなゲームの動画やフェイク動画もたくさんアップされています。メールにしてもSNSにしても、あるいはニュース動画にしても、発信元・発信者が怪しくないか、偽装していないかなど慎重に見極めなければなりません。

メール・電話だけでなく、動画生成AIを使えばビデオチャットでなりすましも可能になってしまいます。メールで案内があるウェブセミナーや講座でも、主催者や実施母体を慎重に確認する必要があります。

YouTubeなどで動画公開していると

大手企業や有名企業の経営者はテレビやネットなどでインタビュー動画もたくさん公開されています。最近は、YouTubeやTikTok、Instagramなどに動画を投稿することは特別なことではなくなりました。YouTubeチャンネルを持っている企業も増えています。このような公開された動画などから、生成AIを使って簡単になりすまし動画の作成どころか、他人がなりすまして詐欺を行うことも可能になってしまいます。
先日、ジャニーズ事務所が社長の謝罪動画を公開しましたが、あまりに違和感がある動画なので、私はディープフェイクかと思いました。しかし、あれは本人による公式なものでした（それも驚きでしたが）。今後、あの動画をAIに学習させて新たなディープフェイク動画がSNSに拡散されるのではと危惧しています。

一方で、咽頭癌で声帯を摘出したつんく♂さんは、テレビやラジオにも多く出演して会話の音源も多く残っています。生成AIによって、かつてのつんく♂さんの声が聞けるようになるかもしれません。

生成AIも悪用せず正しいことに使ってほしいと願いますが、新しい技術ほど犯罪に使われることはこれまでも繰り返されてきたことです。私たちはせめて、騙されないよう備えるしかありません。