Scaling de l'IA : quand la croissance ne remplace pas l'innovation

L'intelligence artificielle progresse, mais est-ce vraiment synonyme d'innovation ?

Moins d’idées nouvelles, plus de croissance en échelle

À l'image de tout domaine, les premières découvertes sont souvent les plus spectaculaires. Alan Turing est une référence incontournable, mais aujourd’hui, avec la maturation de l’IA, il devient de plus en plus difficile de concevoir de vraies innovations. Ce qu’on appelle l'auto-amélioration récursive est bien présent : nous créons des outils pour développer de meilleurs outils, mais l’impact n’est pas proportionnel. Cela reste souvent linéaire et limité par des contraintes contextuelles ou d'applications. Chaque nouveauté demande un effort beaucoup plus grand pour un gain parfois très modeste.

Le scaling comme faux espoir ?

Certains acteurs de l'IA misent sur l’hypothèse du scaling : donner toujours plus de données et de puissance de calcul à des modèles pour qu'ils puissent découvrir des capacités de manière autonome. De nombreuses entreprises ont adopté cette approche en multipliant les modèles de langage de manière exponentielle. Mais cette stratégie est-elle vraiment la meilleure ? Thibault Monteiro pointe du doigt la faiblesse de cette solution qui, au fond, évite de repenser fondamentalement les architectures actuelles et finit par donner des résultats souvent similaires.

Recycler les vieilles idées plutôt que d’innover

L’histoire de l’intelligence artificielle montre qu’on redécouvre souvent des concepts déjà connus. Les GANs (Generative Adversarial Networks), par exemple, ont été popularisés dans les années 2010, mais leurs prémices existaient dès les années 1990. D’autres concepts, tels que l'apprentissage auto-supervisé ou le dropout, connaissent des vagues de "redécouverte" qui masquent parfois le manque d’innovations réelles. Ces redécouvertes, même intéressantes, montrent que de nouvelles idées radicales sont de plus en plus rares.

Changer de perspective sur l’IA

Plutôt que de courir après la création d'une intelligence artificielle générale (AGI), ne devrions-nous pas nous concentrer sur des outils qui améliorent réellement la vie humaine ? Thibault Monteiro propose une alternative : développer des solutions qui augmentent nos capacités, nous rendent plus heureux, plus créatifs, sans chercher à nous remplacer. L'enjeu, plus que jamais, est de s'assurer que les technologies que nous construisons répondent aux vrais besoins humains, plutôt que de simplement courir après la prouesse technologique.