Dans les environnements complexes, les humains comprennent mieux le sens de la parole que l'IA, car nous utilisons non seulement nos oreilles mais aussi nos yeux.
Par exemple, nous voyons la bouche de quelqu'un bouger et pouvons intuitivement savoir que le son que nous entendons provient de cette personne.
Meta AI travaille sur un nouveau système de dialogue IA, qui vise à apprendre à l'IA à reconnaître les corrélations subtiles entre ce qu'elle voit et entend dans une conversation.
VisualVoice apprend de la même manière que les humains apprennent à maîtriser de nouvelles compétences, permettant la séparation audio-visuelle de la parole en apprenant des indices visuels et auditifs à partir de vidéos non étiquetées.
Pour les machines, cela crée une meilleure perception, tandis que la perception humaine s'améliore.
Imaginez pouvoir participer à des réunions de groupe dans le métavers avec des collègues du monde entier, en rejoignant des réunions de groupes plus restreints au fur et à mesure qu'elles se déplacent dans l'espace virtuel, au cours desquelles les réverbérations et les timbres sonores de la scène s'adaptent à l'environnement.
Autrement dit, il peut obtenir simultanément des informations audio, vidéo et textuelles, et dispose d'un modèle de compréhension de l'environnement plus riche, permettant aux utilisateurs de vivre une expérience sonore vraiment époustouflante.
Date de publication : 20 juillet 2022
