Dans des environnements complexes, les humains peuvent comprendre le sens de la parole mieux que l’IA, car nous utilisons non seulement nos oreilles mais aussi nos yeux.
Par exemple, nous voyons la bouche de quelqu’un bouger et pouvons savoir intuitivement que le son que nous entendons doit provenir de cette personne.
Meta AI travaille sur un nouveau système de dialogue IA, qui doit apprendre à l'IA à reconnaître également les corrélations subtiles entre ce qu'elle voit et entend dans une conversation.
VisualVoice apprend de la même manière que les humains apprennent à maîtriser de nouvelles compétences, permettant la séparation de la parole audiovisuelle en apprenant des signaux visuels et auditifs à partir de vidéos non étiquetées.
Pour les machines, cela crée une meilleure perception, tandis que la perception humaine s’améliore.
Imaginez pouvoir participer à des réunions de groupe dans le métavers avec des collègues du monde entier, en rejoignant des réunions de groupe plus petites au fur et à mesure qu'ils se déplacent dans l'espace virtuel, au cours desquelles les réverbérations et les timbres sonores de la scène s'ajustent en fonction de l'environnement.
Autrement dit, il peut obtenir des informations audio, vidéo et textuelles en même temps et dispose d'un modèle de compréhension environnementale plus riche, permettant aux utilisateurs de vivre une expérience sonore « très impressionnante ».
Date de publication : 20 juillet 2022
