ディープフェイク動画が少数ショット敵対的学習アルゴリズムで簡単になった

ディープフェイクとは、人工知能（AI）に基づく技術であり、機械学習技術である生成的敵対ネットワーク（GAN）を使用して、画像を動画に重ね合わせることによって、写真や動画を変更するために使用されます。これは、最初にトレーニングに使用されたデータセットと同じセットを使用して新しいデータセットを生成することができます。この方法で生成されたディープフェイクは、個人に対して公的な地位を捏造するために、さまざまな不正な方法で使用される可能性があります。言うまでもなく、これが個人に対して害を及ぼすためにどのような手段にまで及ぶかということです。

過去には、ディープフェイクは政治的演説を変更し、誤解を招くために使用されてきました。そして昨年、FakeAppという名前のデスクトップアプリケーションが発表され、技術に詳しくない人々が顔を入れ替えた動画を簡単に作成し、共有できるようになりました。このソフトウェアは、画像の異なる側面を置き換えるために学習するために、多くのグラフィックス処理、ストレージスペース、大規模なデータセットを必要とし、Googleの無料でオープンソースのソフトウェアライブラリであるTensorflowを使用しています。さらに驚くべきことに、FakeAppだけでなく、インターネット上で無料でダウンロードできる多くの類似のソフトウェアがあります。

現在、モスクワのSamsung AIセンターの研究者たちは、非常に小さなデータセット（モデルによっては1枚の写真だけ）から「生きた肖像」を作成する方法を開発しました。同様の内容を強調した論文「現実的なニューラルトーキングヘッドモデルの少数ショット敵対的学習」が月曜日に発表され、モデルが比較的小さなデータセットを使用してトレーニングできることを明確にしました。

この論文では、研究者たちは「少数ショット」と呼ばれる新しい学習メカニズムを強調し、モデルが説得力のある肖像を作成するために単一の画像だけを使用してトレーニングできることを示しました。また、8枚または32枚の写真を含むやや大きなデータセットを使用することで、肖像を改善し、より説得力のあるものにすることができるとも述べています。

TechPPでも

プロのようにディープフェイク動画を作成するための15のアプリとウェブサイト続きを読む

ディープフェイク動画や他のアルゴリズムがGANを使用して他の人の顔を貼り付けるのに対し、Samsungの「少数ショット」学習技術は、人間の一般的な顔の特徴を使用して新しい顔を生成します。これには、畳み込みニューラルネットワーク（CNN）を使用して「トーキングヘッドモデル」を作成し、アルゴリズムは「トーキングヘッドデータセット」と呼ばれるトーキングヘッド動画の大規模なデータセットでメタトレーニングを受け、さまざまな外見のタイプを学習した後に「少数ショットおよび1ショット学習」を実装する準備が整います。CNNは、画像を分類し、類似性を整理し、視覚データのさまざまな側面を特定するためにオブジェクト認識を実行できる人工ニューラルネットワークのようなものです。したがって、CNNを使用することで、トレーニングされたアルゴリズムは顔の異なるランドマークを簡単に区別し、検出し、望ましい出力を生成できます。

研究者たちが使用した「トーキングヘッドデータセット」は「VoxCeleb」から取得されており、2番目のデータセットは最初のデータセットの約10倍の動画を含んでいます。研究者たちは、彼らのアルゴリズムを使用して達成できることを示すために、絵画や肖像のさまざまなアニメーションを披露しました。その一例がモナリザのアニメーションで、彼女は口と目を動かし、顔に微笑みを浮かべています。

結論として、研究を要約するために発表された論文からの短い抜粋を以下に示します：「重要なことに、このシステムは生成器と識別器の両方のパラメータを個人特有の方法で初期化できるため、トレーニングはわずか数枚の画像に基づいて迅速に行うことができ、数千万のパラメータを調整する必要があるにもかかわらず、非常にリアルで個別化されたトーキングヘッドモデルや肖像画を学習できることを示します。」