Mark Zuckerberg a publié une vidéo sur Instagram dans laquelle il montre son talent pour jouer de la guitare et comment une future intelligence artificielle entrerait.
Entraîner une IA au rythme de Taylor Swift
V-JEPA, l'intelligence artificielle, apprend seule en regardant de nombreuses vidéos . Il le fait d'une manière particulière : il essaie de deviner ce qui se passe dans des parties des vidéos qu'il ne peut pas voir parce qu'elles sont couvertes.
Imaginez que vous regardez la vidéo partagée par Mark Zuckerberg, jouant de la guitare avec sa fille. Si à un moment donné, une partie de cette vidéo est obscurcie (par exemple, vous ne pouvez pas voir les cordes de guitare qu'il pince), V-JEPA essaiera de deviner quelles notes Zuckerberg joue dans cette partie cachée, en se basant sur ce qu'il voit. ... a appris d'autres vidéos de personnes jouant de la guitare.
Ainsi, même si vous ne pouvez pas voir la vidéo dans son intégralité, vous pouvez comprendre et prédire ce qui se passe.
"V-JEPA est une étape vers une compréhension plus solide du monde afin que les machines puissent réaliser un raisonnement et une planification plus généralisés ", a déclaré Yann LeCun, vice-président de Meta et scientifique en chef de l'IA, qui a proposé les architectures prédictives d'intégration conjointe originale de Meta ( JEPA) en 2022.
V-JEPA n’a pas été conçu pour comprendre un seul type d’action dans les vidéos. En réalité, il a appris auprès d'une grande variété d'entre eux grâce à une méthode d'apprentissage où il observe et découvre par lui-même, sans que personne ne lui dise exactement quoi chercher.
L'équipe derrière V-JEPA a beaucoup réfléchi à la manière de vous enseigner. Ils ont constaté que s’ils ne cachent que des parties petites ou très spécifiques de la vidéo, l’apprentissage devient très facile et que V-JEPA ne parvient pas à comprendre des éléments plus complexes sur le fonctionnement du mouvement dans le monde réel.
De plus, ils ont réalisé que dans la plupart des vidéos, les éléments ne changent pas aussi rapidement d’un instant à l’autre.
S’ils cachaient une partie de la vidéo mais seulement pendant un très bref instant, l’IA pouvait voir ce qui se passait juste avant et après ce moment, alors l’apprentissage devenait trop facile.
Par conséquent, ils ont choisi de cacher des parties de la vidéo non seulement à différents endroits mais aussi à différents moments. Cela a forcé V-JEPA à travailler plus dur pour comprendre et prédire ce qui allait se passer , l'aidant ainsi à développer une meilleure compréhension du monde.
Applications réelles possibles du V-JEPA
Pour le meilleur ou pour le pire, comme le dit la chanson de Taylor Swift que Zuckerberg interprète dans la vidéo, cette intelligence artificielle pourrait avoir des portées inattendues dans plusieurs secteurs.
Une application spécifique possible du V-JEPA serait dans le domaine de la sécurité et de la surveillance. Il pourrait être implémenté dans des systèmes de caméras de sécurité fonctionnant 24 heures sur 24, aussi bien dans des environnements publics que privés.
Ces caméras génèrent généralement d’énormes volumes de vidéo, impossibles à surveiller dans leur intégralité en temps réel. V-JEPA, grâce à sa capacité à apprendre et à faire des prédictions à partir de vidéos, pourrait analyser ces flux vidéo continus.
Dans les situations où la vue de la caméra est obstruée, soit par une personne marchant devant elle, soit par la chute d'un objet bloquant une partie de la scène, V-JEPA pourrait utiliser son apprentissage pour prédire ce qui se passe dans les zones non visibles. .
Supervision stricte des vidéos données
Bien que l’IA V-JEPA ait le potentiel d’être utilisée pour des applications très bénéfiques, telles que l’amélioration de la sécurité et de la surveillance, il est possible qu’elle soit également utilisée à des fins moins positives .
Pour cette raison, Meta a souligné l'importance de revoir strictement les vidéos utilisées pour l'entraîner, d'autant plus que cette IA est open source et accessible au public sur GitHub.