Code Llama, un modèle de langage (LLM) de Meta qui utilise des messages texte pour générer et analyser du code, a la capacité de programmer avec du texte tel que « écrivez-moi une fonction qui génère la séquence de Fibonacci » et d'accomplir différentes tâches.
En outre, il peut être utilisé pour la complétion du code et le débogage.
Selon Meta, le but de ce nouvel outil est d'être utilisé à des fins d'éducation et de productivité, pour aider les programmeurs à écrire des logiciels.
Il a le pouvoir de servir à la fois à la recherche et à un usage commercial sous la même licence communautaire Llama 2.
Il prend en charge bon nombre des langages de programmation les plus utilisés aujourd'hui, tels que Python, C++, Java, PHP, Typescript (Javascript), C# et Bash , entre autres.
Deepak Kumar, chercheur postdoctoral à Stanford et expert en codage d'IA, affirme qu'il est très probable que les développeurs créeront de nouveaux types d'applications en utilisant Code Llama .
L'universitaire illustre cela en mentionnant qu'il serait possible de créer un assistant de programmation qui effectue diverses vérifications de sécurité supplémentaires avant de recommander un morceau de code.
Plus de détails sur Code Llama
Le nouvel outil de codage assisté de Meta est disponible en trois tailles : 7B, 13B et 34B . Chacun de ces modèles a été formé avec 500 B de jetons de code et de données liées au code.
Les modèles 7B et 13B ont été formés avec la fonctionnalité fill-in-the-middle (FIM), qui leur permet d'insérer du code dans le code existant , ce qui signifie qu'ils peuvent prendre en charge des tâches telles que la complétion de code dès la sortie de la boîte.
Le modèle 7B peut fonctionner sur un seul GPU. Le modèle 34B permet une meilleure assistance au codage, mais les modèles plus petits 7B et 13B sont plus rapides et mieux adaptés aux tâches nécessitant une faible latence, telles que la complétion de code en temps réel .
De même, Meta a affirmé avoir perfectionné deux autres variantes de Code Llama : Code Llama - Python et Code Llama - Instruct.
Code Llama – Python est une variante spécialisée dans le langage de Code Llama perfectionnée avec 100 000 jetons de code Python. Python est le langage le plus utilisé pour la génération de code . Meta estime que Python et Pytorch jouent un rôle important dans la communauté IA.
Code Llama – Instruct est une variante modifiée de Code Llama avec diverses instructions qui est toujours en cours de formation, mais avec un objectif différent. Le modèle reçoit une indication en langage naturel et le résultat attendu.
Cela vous permet de mieux comprendre ce que les gens attendent de vos instructions. Meta recommande l'utilisation des variantes Code Llama - Instruct chaque fois que Code Llama est utilisé pour la génération de code.