Au cours de l'enquête, des « invites de chaîne de pensée » ont été utilisées pour guider GPT-4 afin d'identifier les tendances dans les états financiers et de calculer différents ratios financiers. Après avoir analysé ces informations, le modèle linguistique a pu prédire avec plus de précision les résultats futurs des bénéfices.
"Même sans aucune information narrative ou spécifique à un secteur, le modèle surpasse les analystes financiers dans sa capacité à prédire l'évolution des bénéfices", indique l'étude.
Selon Business Insider , GPT-4 a atteint une précision de 60 % dans ses prédictions, contre une fourchette de 53 % à 57 % pour les analystes humains. Ce niveau de précision a été attribué à la capacité du modèle à reconnaître des modèles conceptuels financiers et commerciaux même avec des informations incomplètes.
"Nous avons constaté que la stratégie long-short basée sur les prévisions GPT surclasse le marché et génère des rendements significatifs", note le rapport, soulignant l'utilité potentielle de l'IA dans la prise de décision financière. Cette précision s'est traduite par des stratégies de trading plus rentables, avec des ratios de Sharpe plus élevés et des alphas positifs qui ont surperformé le marché boursier.
Cependant, SiliconAngle a souligné que tous les experts ne partagent pas cet enthousiasme. Sur des forums comme Hacker News , les utilisateurs ont exprimé leur scepticisme, arguant que le modèle de réseau de neurones artificiels utilisé comme référence remonte à 1989 et ne peut être comparé aux modèles les plus avancés actuellement utilisés.
Matt Holden , chercheur en intelligence artificielle , s'est également demandé si le GPT-4 serait capable de surperformer systématiquement des indices tels que le S&P 500 , déclarant sur Platform
Dans le même esprit, Holger Mueller de Constellation Research Inc. Il a souligné que même si l’IA est clairement plus rapide dans le traitement des données et la recherche de modèles historiques, elle ne peut pas rivaliser avec la créativité et l’expérience humaines. « L’IA ne peut pas rivaliser avec la créativité, les fantasmes et l’expérience des humains », a-t-il déclaré.
Malgré les doutes, Alex Kim , l'un des co-auteurs de l'étude, a déclaré qu'il a toujours été difficile pour les modèles linguistiques d'effectuer des calculs et des interprétations complexes. "Bien que les modèles linguistiques soient efficaces dans les tâches textuelles, leur compréhension des nombres vient généralement du contexte narratif et ils manquent d'un raisonnement numérique profond ou de la flexibilité d'un esprit humain", a-t-il expliqué.
Pour tester les capacités de GPT-4 , les chercheurs ont créé une application Web interactive pour les abonnés ChatGPT Plus , qui permet aux utilisateurs de découvrir directement les prouesses du modèle en matière d'analyse financière. Les chercheurs rappellent toutefois qu’il est nécessaire de vérifier de manière indépendante l’exactitude de ces prédictions.
Cette étude ne suggère pas que les analystes humains seront bientôt remplacés par l’IA , mais elle indique que les LLM peuvent être de puissants outils qui améliorent l’efficience et l’efficacité des professionnels de la finance.