Hanno Basse, directeur technique de Digital Domain, voit un grand potentiel dans l’utilisation de l’IA générative et de l’apprentissage automatique dans les effets visuels, mais « pas pour remplacer l’aspect humain de la performance » par des acteurs.

« Le public humain veut se connecter avec les êtres humains », a-t-il affirmé lundi lors d’un discours prononcé lors du Sommet sur les technologies des médias de la Society of Motion Picture and Television Engineers, au cours duquel il a passé en revue les travaux récents du studio VFX Digital Domain sur les humains numériques, tels que la création de 43 minutes – plusieurs centaines de plans – de la performance de l’actrice Tatiana Maslany en tant que personnage principal du film Marvel. Elle Hulk. Mais même si cet exemple et d’autres impliquaient l’apprentissage automatique dans ses techniques, a-t-il souligné, « chaque exemple est sous-tendu par la performance d’un acteur réel. C’est ainsi que vous obtenez la véritable émotion et la véritable performance. Je ne vois pas cela changer.

L’utilisation de l’IA générative est un sujet épineux dans la grève et les négociations contractuelles actuelles de la SAG-AFTRA, tout comme pour la WGA, qui a récemment mis fin à sa grève et ratifié un nouveau contrat avec des protections contre l’IA.

Lors de son discours au Ray Dolby Ballroom à Hollywood, Basse a donné un aperçu d’outils tels que la technologie exclusive d’échange de visage Charlatan de DD, qui implique l’apprentissage automatique et a été utilisée sur la série Amazon. Citadelle pour créer des performances d’acteur sur des personnages avec l’apparition de JFK, FDR et Winston Churchill. « Nous pouvons transformer n’importe qui en n’importe qui… et vous ne verrez pas la différence », a déclaré Basse, soulignant que le travail n’est pas facile et que les gens ne pourront plus le faire à la maison « très bientôt, mais je pense que c’est une question de temps. »

Les derniers outils propriétaires de DD incluent Charlatan Geo, qui peut être utilisé pour permettre une capture de mouvement sans marqueur. « C’est très précis et très rapide », a déclaré Basse, soulignant que cela permet aux acteurs de travailler sans caméra casque. « C’est plus facile pour les acteurs… et plus rentable de capturer des choses de cette façon. »

Basse pense que l’IA générative et l’apprentissage automatique peuvent aider à d’autres types de travail d’effets visuels, en particulier pour l’idéation et la communication, ainsi qu’à supprimer le travail « fastidieux ». « Souvent, même les personnes très créatives ne savent pas ce qu’elles veulent », a-t-il déclaré, soulignant qu’une équipe 3D pouvait travailler pendant des semaines ou des mois sur des prototypes qui pourraient ne pas être utilisés dans un projet fini. « [Now] nous pouvons le faire en 2D avec l’IA générative et créer rapidement 50 à 100 objets différents [sample] versions. … La communication devient tellement plus simple.

DD a également développé un outil qui détermine la manière dont le tissu (vêtements) se déplacera sur un corps humain dans une pose donnée. Basse a rapporté que les DC Coléoptère bleu a été la première application majeure de cette technologie par DD, utilisée dans plus de 300 plans du film. Sans l’outil d’apprentissage automatique, a-t-il ajouté, « cela aurait coûté trop cher ».

Pour l’avenir, lors du discours d’ouverture, Basse a également rendu compte du développement d’un outil génératif basé sur l’IA, conçu par DD pour convertir du « texte en animation ». Il admet qu’il reste « beaucoup de travail » à faire dans ce domaine. « Nous pensons qu’avec ce type de technologie, nous pouvons rapidement accélérer notre travail d’animation et éliminer les tâches fastidieuses. »

Le prototype présenté lors du discours comprenait un humain virtuel autonome en développement, qui était un robot numérique (toujours dans l’étrange vallée) piloté par le moteur Charlatan de DD. Basse a déclaré: « Elle peut devenir nerveuse et bouleversée si vous la poussez trop fort. »

Le sommet annuel SMPTE Media Technology se déroule jusqu’à jeudi.