Et si on utilisait des "TRM" plutôt que des "LLM"...

Voici un résumé de l'article très intéressant du journal "Le Grand Continent" issu d'un article scientifique de Alexia Jolicoeur-Martineau, chercheuse en IA au Samsung SAIT AI Lab. Source : "Le Grand Continent", auteur : Victor Storchan

Contexte et enjeu

L'article explique que les grands modèles de langage comme ceux que l'on utilise au quotidien, ont permis de démocratiser l'IA mais commencent aussi à montrer leurs limites surtout lorsqu'il s'agit de raisonnement ou de solidité face à des problèmes plus complexes.

Il présente ensuite une approche qui gagne en importance : les TRM pour Tiny Recursive Models, un concept proposé par la chercheuse Alexia Jolicoeur Martineau du laboratoire Samsung SAIT AI Lab

Qu'est ce qu'un TRM

Un TRM est un modèle beaucoup plus petit que les modèles de langage classiques  : on parle de milliers de fois moins de paramètres tout en étant capable d'être bien plus rapide dans certaines situations.

Sa particularité est de fonctionner avec une logique de raisonnement récursif au lieu de générer une réponse pas à pas comme un modèle traditionnel. Il construit sa solution et peut revenir en arrière pour corriger une étape puis produire une réponse plus solide.

Cette approche offre plusieurs avantages :
- Elle demande moins de ressources pour l'entraînement et pour l'exécution.
- Elle peut fonctionner directement sur un téléphone ce qui améliore la confidentialité et réduit la dépendance au cloud.
- Elle se montre mieux adaptée aux tâches qui demandent une structure de raisonnement plutôt qu'une simple suite de mots.

Implications et perspectives

L'article souligne que la course aux modèles toujours plus grands montre des signes d'atténuation, les gains ne suivent plus la taille comme auparavant.

Les TRM proposent donc une autre voie : celle d'un modèle mieux structuré et plus intelligent plutôt qu'uniquement plus massif.

De nombreux domaines pourraient en profiter comme la robotique mobile où la vitesse et le poids d'un modèle sont essentiels ou encore la chimie et les matériaux où l'on cherche des systèmes spécialisés et efficaces.

Enfin l'article rappelle qu'il faut rester prudent avec les métaphores qui attribuent des notions humaines à ces systèmes comme la pensée ou le raisonnement car malgré les progrès ils ne fonctionnent pas comme un esprit humain.

Je vous mets aussi le lien vers le github de Alexia pour des exemples de son TRM : https://github.com/SamsungSAILMontreal/TinyRecursiveModels

Informations sur d'autres TRMs ou concepts :