C'est pourquoi la compréhension du langage est pleine de contexte , de non-dits présupposés et d'attentes construites au présent avec des informations du passé. Nous pouvons le comprendre avec l'exemple de notre amie Juli Garbulsky : « C'est incroyable comme les gens sont surpris lorsqu'une phrase ne se termine pas exactement comme ils le souhaitent. » « Laitue » fonctionne dans cette phrase comme une note désaccordée , une entrée qui sort des attentes que le cerveau a construites, à la vitesse vertigineuse à laquelle les mots se succèdent dans une phrase.
Ce qui est curieux, c'est que l'idée qui allait changer le monde était relativement simple : pour comprendre une phrase, il n'est pas nécessaire de se souvenir de tout le contexte , mais plutôt de choisir avec soin à quelles données ou concepts mentionnés ci-dessus il est important de prêter attention. . « Attention », c'est la clé. C'est tout ce dont vous avez besoin. Dans cet article fondateur, une nouvelle architecture appelée « transformateur » a été introduite, qui intègre précisément un algorithme pour décider du poids à accorder aux différents éléments de la séquence ou, en d'autres termes, à quoi accorder plus d'attention.
L'objectif de cet article était d'améliorer la traduction automatique entre les langues et ni ses auteurs ni Google n'avaient prévu l'énorme impact que cela aurait à l'avenir : avec cette découverte, la dernière pièce manquante pour le boom actuel de l'IA était complétée.
À partir de cette découverte, l’IA est devenue incroyablement efficace pour comprendre quel mot va avec lequel et, en saisissant profondément la relation entre les mots , elle a acquis des connaissances équivalentes à la compréhension de la grammaire de la langue. Justement, c'est l' algorithme d'attention des transformateurs qui lui a permis d'avoir en mémoire le contexte nécessaire de chaque mot pour atteindre cet objectif. Et cela a été fait non pas pour une, mais pour au moins 30 langues différentes .
En comprenant ainsi la logique profonde du langage, GPT peut construire des phrases incroyablement humaines, quelle que soit la sémantique (savoir ce que signifie chaque mot). Autrement dit, il a appris à parler dans un style incroyablement humain et à dire des choses intéressantes et significatives, sans avoir la moindre idée de ce qu'il dit .
Avec l’énorme croissance de la taille du réseau et de ses paramètres, un nouveau type d’IA est né. Les réseaux de neurones basés sur des transformateurs, entraînés avec d'énormes volumes de texte pour produire du langage , ont été nommés LLM ( Large Language Models ). Et il semble que la taille compte ici. Parce que ces nouveaux modèles ont commencé à montrer des résultats complètement surprenants, même pour leurs propres créateurs !
Avec l’augmentation de l’ampleur des LLM, des portes fascinantes et inattendues se sont ouvertes. Nous pouvons réfléchir à ce qui se passe avec l’acquisition du langage dans le développement d’un bébé. Même si un apprentissage extraordinaire s'acquiert au cours des premiers mois de la vie, l'ensemble de ce processus cognitif acquiert une progression explosive lorsqu'un enfant parvient à combiner arbitrairement toutes ses facultés grâce à l'utilisation du langage.
C'est pour cette raison qu'aucun parent n'ignore que lorsque son enfant commence à parler, un tout nouvel univers s'ouvre et le lien change profondément, poussé par la large fenêtre de possibilités qu'offrent les mots. L'utilisation du langage permet aux parents de savoir pourquoi leur enfant pleure et ce qui lui fait mal, et ils ressentent une énorme et agréable surprise lorsque l'enfant explique pour la première fois pourquoi il veut faire quelque chose, ou lorsqu'il exprime ses doutes, ses désirs, peurs ou rêves.
Les humains ne sont pas meilleurs que les autres animaux en matière de reconnaissance d'objets . Notre grande singularité réside dans le lien avec la langue. Pour cette raison, les LLM génèrent une révolution dans l’IA similaire à ce qui se produit dans l’intelligence humaine lorsqu’un enfant commence à babiller les premiers mots.
Le langage est l'étoffe dont est faite la pensée humaine . Lorsqu’une IA apprend à générer du langage, elle apprend d’une certaine manière à penser, même si pour l’instant il n’y a aucune entité dans la machine qui fasse l’objet de cette pensée. Encore une fois, sans rien connaître du sens des mots, il parvient à composer un discours inédit, intéressant, profond et cohérent, même si en réalité le programme n'a aucune idée de ce qu'il dit.
Tout comme nos enfants disent des choses surprenantes auxquelles nous n’aurions jamais pensé, les IA commencent également à trouver des attributs qui leur permettent de nous surpasser dans certains aspects du langage. Nous sommes contemporains de cette transformation et c'est pourquoi, à un moment donné, nous sommes aussi ce père ou cette mère qui est un témoin fasciné de la façon dont un enfant commence à penser en articulant les premiers mots. Les surprises ne font que commencer .