Dans des environnements complexes, les humains peuvent mieux comprendre le sens de la parole que l'IA, car nous utilisons non seulement nos oreilles mais aussi nos yeux.
Par exemple, nous voyons la bouche de quelqu'un bouger et peut intuitivement savoir que le son que nous entendons doit provenir de cette personne.
Meta IA travaille sur un nouveau système de dialogue d'IA, qui consiste à enseigner à l'IA à apprendre également à reconnaître des corrélations subtiles entre ce qu'il voit et entend dans une conversation.
VisualVoice apprend d'une manière similaire à la façon dont les humains apprennent à maîtriser de nouvelles compétences, permettant la séparation de la parole audiovisuelle en apprenant des indices visuels et auditifs à partir de vidéos non étiquetées.
Pour les machines, cela crée une meilleure perception, tandis que la perception humaine s'améliore.
Imaginez pouvoir participer à des réunions de groupe au métaverse avec des collègues du monde entier, rejoignant des réunions de groupe plus petites alors qu'ils se déplacent dans l'espace virtuel, au cours desquels les sons réverbes et les timbres dans la scène le font selon l'environnement ajusté en conséquence.
Autrement dit, il peut obtenir des informations audio, vidéo et texte en même temps, et a un modèle de compréhension environnementale plus riche, permettant aux utilisateurs d'avoir une expérience solide "très wow".
Heure du poste: juillet 20-2022
