Comment l'informatique quantique va doper l'IA générative
Est-il possible d'entraîner un modèle de langue de plusieurs centaines de milliards de paramètres (ou large language model pour LLM) sur un ordinateur quantique ? "Si l'on s'en tient à l'état actuel de la recherche sur le sujet, la réponse est non. Les ordinateurs quantiques existants ne sont pas suffisamment puissants pour entraîner et inférer ce type de modèle", répond Xavier Vasques, vice-président, CTO et directeur de la R&D au sein d'IBM France.
Chez IBM, on teste des réseaux de neurones de taille modeste sur des ordinateurs quantiques comptant jusqu'à 5 000 portes, une porte étant l'unité de base du calcul quantiques. "Nous avons pour objectif d'atteindre 100 millions de portes en 2029, puis 1 milliard en 2033. Ce qui permettra d'exécuter des réseaux de neurones nettement plus volumineux. Mais il est encore prématuré d'affirmer que nous pourrons exécuter des LLM sur ses futures configurations", relativise Xavier Vasques.
Un faisceau d'indices
"Via l'informatique quantique, il est prouvé que des algorithmes de statistique classique, tel que les SVM (pour support-vector machine, ndlr), peuvent bénéficier de gain de performance exponentiel, pour peu de bénéficier d'un supercalculateur de plusieurs millions de qubits (ou quantum bit, ndlr)", précise Cyrille Allouche, responsable de la R&D quantique au sein d'Eviden, une entreprise du groupe Atos spécialisée dans le numérique, le cloud, le big data et la cybersécurité. "Pour l'heure, nous n'obtenons pas de résultats similaires dans l'IA générative qui, rappelons-le, correspond à des mises en relation matrice-vecteur."
L'une des principales difficultés se situerait notamment dans le stockage des données. "Si je souhaite charger un volume de données de taille N, il me faut un nombre de porte de 3 puissance N. L'informatique quantique n'est donc pas compatible avec les chargements de données massives nécessaires à l'apprentissage des modèles ", précise Cyrille Allouche.
Il existe néanmoins un faisceau d'indices qui démontrent que le mariage entre IA générative et informatique quantique va bel et bien arriver. Socles de l'IA générative, les grands modèles de langue ne sont autres que des réseaux de neurones. Or, un article fondateur paru en juin 2021 dans la revue scientifique Nature Computational Science démontre que l'entraînement des réseaux de neurones quantiques est plus rapide que leurs équivalents classiques (cf. graphique ci-dessous). "Les modèles utilisés dans le cadre de cette étude sont certes de taille modeste", reconnaît Xavier Vasques. "Ce résultat laisse néanmoins entrevoir un potentiel important avec des réseaux qui compteraient un nombre beaucoup plus grand de paramètres."
Autre élément : l'ordinateur quantique se prête particulièrement bien aux problèmes d'optimisation via les quantum approximate optimization algorithms. "On va pouvoir utiliser cette technologie pour ajuster les paramètres du réseau de neurones et faire en sorte que ses prédictions convergent au plus proche des résultats attendus", explique Xavier Vasques. En coulisse, l'algorithme d'optimisation permettra de régler finement les poids de chaque neurone. Là encore, ce résultat laisse entrevoir un potentiel important sur le front de l'IA générative.
"Les méthodes d'optimisation de descente de gradient mettent en valeur un avantage quadratique qui ne permet pas d'aboutir à des gains exponentiels", affirme de son côté Cyrille Allouche d'Eviden. "Chez Atos, nous avons réalisé des recherches sur ce terrain, notamment en matière de reinforcement learning, qui ont montré qu'il était possible d'atteindre un gain d'apprentissage légèrement meilleur comparé à la méthode traditionnelle, mais la différence n'est pas flagrante."
"Via l'informatique quantique, on a découvert des méthodes permettant de créer des données synthétiques de très grande qualité"
Qu'en est-il de la vision par ordinateur ? Sur ce point, une étude de l'Agence spatiale européenne a pu démontrer un gain substantiel. Comparé à un taux de reconnaissance d'image de 85% via un réseau de neurones classique comptant deux millions de paramètres, l'ESA a obtenu un taux de reconnaissance de 96% en partant de la même base d'images, à savoir des photos prises par satellites visant à détecter les volcans en éruption. Et ce, via un réseau de neurones quantique de seulement 40 000 paramètres. "Soit un modèle beaucoup moins consommateur en énergie et en données", constate Xavier Vasques.
Un article paru dans Nature communications en 2024 enfonce le clou. Il dresse un benchmark comparant six modèles de machine learning classiques avec un modèle quantique. Conclusion : le modèle quantique parvient à un résultat aussi précis avec 10 fois moins de données (cf. le graphique ci-dessous).
Autre domaine pointé du doigt par Xavier Vasques : celui des generative adversarial networks qui permettent de générer des données synthétiques, créées virtuellement, et utiles à l'entraînement des modèles. "Via l'informatique quantique, on a découvert des méthodes permettant de créer des données synthétiques de très grande qualité", pointe Xavier Vasques, faisant référence à un article paru dans la revue Nature en 2019. Ici, l'avantage serait donc indirect.
La détection de patterns
Et le CTO d'IBM France d'enchainer : "Sur le terrain de la gestion des données complexes, on a également découvert que l'informatique quantique était plus performante que l'informatique classique pour détecter des patterns." Ce qui laisse entrevoir de nouvelles applications en matière de modélisation de données dans la chimie ou encore la physique des matériaux, ces parterns permettant là-encore d'alimenter les LLM en data d'entraînement de grande qualité.
"Finalement, le quantique permet d'augmenter la précision via des modèles plus petits qui nécessitent moins de données. On peut en parallèle améliorer l'optimisation ce qui permet d'obtenir plus rapidement un résultat fiable", résume Xavier Vasques. Qu'en est-il à plus long terme ? La capacité de calcul colossale des ordinateurs quantiques pourrait permettre de créer au sein des neurones des fonctions d'activation nettement plus complexes. "Ce qui ouvrirait un nouveau champ d'application pour les grands modèles de langue. Mais cette perspective reste au niveau de la théorie", note Xavier Vasques. Et Cyrille Allouche de rappeler : "Pour l'heure, il n'a pas été prouvé que l'informatique quantique permettent aux réseaux de neurones d'atteindre des gains de performance exponentielle comme c'est le cas par exemple dans la simulations moléculaires ou de matériaux."