Le nouveau bot IA de Microsoft crée des dessins à partir de descriptions textuelles

Le nouvel outil IA de Microsoft dessine de belles images à partir de texte

La technologie de l’intelligence artificielle (IA) a incroyablement évolué au cours des dernières années et est considérée comme la prochaine grande chose de l’avenir.

Faisant des progrès dans cette direction, Microsoft Corp. a investi dans plusieurs projets liés à l’IA. Le géant technologique a créé un nouvel outil IA qu’il appelle un « bot de dessin » utilisant un Réseau Antagoniste Génératif (GAN) fonctionnant sur deux modèles d’apprentissage automatique. Le bot utilise le GAN pour générer des images simplement à partir d’une légende descriptive.

Un modèle d’apprentissage automatique génère des images à partir de descriptions textuelles, tandis que l’autre modèle, connu sous le nom de discriminateur, utilise des descriptions de texte pour juger de l’authenticité des images générées, afin de ne pas être trompé. En travaillant ensemble, le discriminateur pousse le générateur vers la perfection. En utilisant la technique GAN, l’IA prête une attention particulière aux mots individuels lors de la génération d’images à partir de descriptions textuelles ressemblant à des légendes, atteignant ainsi une amélioration triple de la qualité des images par rapport à la méthode précédente de texte à image.

Selon Microsoft, le bot est même capable d’imaginer des détails lors du dessin qui ne sont pas spécifiquement mentionnés dans le texte, ce qui indique que l’IA contient une « imagination artificielle ».

Par exemple, l’image ci-dessous a été créée par le bot de dessin simplement à partir de la description « un oiseau avec un corps jaune, des ailes noires et un bec court ». Bien qu’il ne soit pas spécifié dans le texte donné, l’IA a choisi de placer l’oiseau sur une branche en utilisant son imagination artificielle. Non seulement des oiseaux, l’outil IA peut dessiner n’importe quoi, des scènes de campagne ordinaires, comme du bétail paissant, aux choses bizarres, comme un bus à impériale flottant.

« Si vous allez sur Bing et que vous recherchez un oiseau, vous obtenez une image d’oiseau. Mais ici, les images sont créées par l’ordinateur, pixel par pixel, à partir de zéro », a déclaré Xiaodong He, chercheur principal et responsable de la recherche au Centre de Technologie d’Apprentissage Profond du laboratoire de recherche de Microsoft à Redmond, Washington, dans un rapport sur le projet. « Ces oiseaux peuvent ne pas exister dans le monde réel — ils ne sont qu’un aspect de l’imagination de notre ordinateur sur les oiseaux. »

Le chercheur de Microsoft, Pengchuan Zhang, a déclaré à propos de la recherche : « Vous avez besoin de vos algorithmes d’apprentissage automatique faisant fonctionner votre intelligence artificielle pour imaginer certaines parties manquantes des images. À partir des données, l’algorithme d’apprentissage automatique apprend ce bon sens où l’oiseau devrait se trouver. »

Le rapport de recherche, qui doit encore subir une évaluation scientifique, pourrait agir comme un assistant de croquis pour les peintres et les designers d’intérieur, selon Microsoft. M. He imagine que la technologie pourrait générer des films d’animation basés sur des scénarios, ce qui « augmenterait le travail que font les cinéastes d’animation » en éliminant une partie du travail manuel impliqué.