Deepfake-Videos wurden mit Few-Shot Adversarial Learning Algorithmus einfacher

Deepfake, für die Ungeübten, ist eine Technik, die auf künstlicher Intelligenz (KI) basiert und verwendet werden kann, um Fotos oder Videos zu verändern, indem Bilder auf Videos überlagert werden, mithilfe einer maschinellen Lerntechnik, die als Generative Adversarial Network (GAN) bekannt ist und in der Lage ist, neue Datensätze mit dem gleichen Satz zu generieren, der ursprünglich zu seiner Ausbildung verwendet wurde. Ein auf diese Weise generierter Deepfake kann auf verschiedene illegale Weisen gegen eine Person verwendet werden, um ihren öffentlichen Status zu fabrizieren. Ganz zu schweigen von den Ausmaßen, in denen dies genommen werden könnte, um der Person zu schaden.

In der Vergangenheit wurden Deepfakes verwendet, um politische Reden zu verändern und falsch darzustellen. Und im letzten Jahr wurde eine Desktop-Anwendung namens FakeApp veröffentlicht, die es Menschen (nicht technikaffinen) ermöglicht, einfach Videos mit vertauschten Gesichtern zu erstellen und zu teilen. Diese Software benötigt viel Grafikverarbeitung, Speicherplatz, riesige Datensätze: um die verschiedenen Aspekte des Bildes zu lernen, die ersetzt werden können, und verwendet Googles kostenlose und Open-Source-Softwarebibliothek Tensorflow. Was noch alarmierender ist, ist, dass es nicht nur FakeApp gibt, sondern auch viele ähnliche Software, die kostenlos im Internet heruntergeladen werden können.

Bis heute haben Forscher am Samsung AI Center in Moskau einen Weg entwickelt, um “lebendige Porträts” aus einem sehr kleinen Datensatz (so klein wie ein einzelnes Foto, in einigen Modellen) zu erstellen. Das Papier, “Few-Shot Adversarial Learning of Realistic Neural Talking Head Models”, das dasselbe hervorhebt, wurde auch am Montag veröffentlicht und erläutert, wie das Modell mit einem relativ kleineren Datensatz trainiert werden kann.

In diesem Papier hoben die Forscher den neuen Lernmechanismus hervor, der als “Few-Shot” bezeichnet wird, bei dem das Modell mit nur einem einzigen Bild trainiert werden kann, um ein überzeugendes Porträt zu erstellen. Sie erwähnten auch, dass die Verwendung eines etwas größeren Datensatzes, mit so vielen wie 8 oder 32 Fotografien, helfen kann, das Porträt zu verbessern und es überzeugender zu machen.

Auch auf TechPP

15 Apps & Websites, um Deepfake-Videos wie ein Profi zu erstellenWeiterlesen

Im Gegensatz zu Deepfake-Videos oder anderen Algorithmen, die GAN verwenden, um ein Gesicht auf ein anderes mit typischen Ausdrücken der Person zu kleben, verwendet die “Few-Shot”-Lerntechnik von Samsung gemeinsame Gesichtszüge von Menschen, um ein neues Gesicht zu generieren. Dazu werden die “Talking Head Models” unter Verwendung von Convolutional Neural Networks (CNN) erstellt, wobei der Algorithmus ein Meta-Training auf einem großen Datensatz von Talking Head-Videos, dem sogenannten “Talking Head Dataset”, mit verschiedenen Arten von Erscheinungen durchläuft, bevor er bereit ist, das “Few- und One-Shot Learning” zu implementieren. Für diejenigen, die es nicht wissen, ist CNN wie ein künstliches neuronales Netzwerk, das Bilder klassifizieren, sie zusammen sortieren, Ähnlichkeiten erkennen und Objekterkennung durchführen kann, um die verschiedenen Aspekte visueller Daten zu identifizieren. Mit CNN kann der trainierte Algorithmus leicht die verschiedenen Gesichtspunkte eines Gesichts unterscheiden und dann das gewünschte Ergebnis erzeugen.

Das von den Forschern verwendete “Talking Head Dataset” wurde von “VoxCeleb”: 1 und 2 entnommen, wobei der zweite Datensatz ungefähr 10-mal mehr Videos als der erste enthält. Um zu zeigen, was mit ihrem Algorithmus erreicht werden kann, haben die Forscher verschiedene Animationen von Gemälden und Porträts präsentiert. Eine solche Animation ist die der Mona Lisa, in der sie ihren Mund und ihre Augen bewegt und ein Lächeln auf ihrem Gesicht hat.

Zusammenfassend hier ein kurzer Auszug aus dem veröffentlichten Papier, um die Forschung zusammenzufassen: “Entscheidend ist, dass das System in der Lage ist, die Parameter sowohl des Generators als auch des Diskriminators auf eine personenspezifische Weise zu initialisieren, sodass das Training nur auf wenigen Bildern basieren und schnell durchgeführt werden kann, trotz der Notwendigkeit, zig Millionen von Parametern zu optimieren. Wir zeigen, dass ein solcher Ansatz in der Lage ist, hochrealistische und personalisierte Talking Head-Modelle neuer Personen und sogar Porträtgemälde zu lernen.”