Petite réflexion sur les capacités de l’IA générative

[duJambon]

Stuart Russell (Berkeley) : “Les capacités de l’IA générative ont été surestimées”

La “vraie IA” n’émergera pas des grands modèles de langage, juge ce chercheur de référence dans le domaine. Mais il faut d’urgence aligner cette technologie sur les valeurs humaines.

Avons-nous surestimé les capacités de l’IA générative ?

Stuart Russell : Oui, de plusieurs manières. Les réseaux de neurones profonds ne sont dans le fond que de très grands circuits où les connexions sont modulées de manière à être plus ou moins fortes. Beaucoup de concepts de sens commun ne sont pas bien représentés par ce type de systèmes. Ils n’ont pas les capacités de généralisation que les humains développent. Et ils ont besoin de beaucoup plus de données d’entraînement que les humains. Ces systèmes n’extraient pas toujours les principes sous-jacents de ce qu’ils tentent d’apprendre, ils tiennent plus du tableau de recherche magnifié. Lorsqu’on a assez d’exemples, cela fonctionne assez bien mais dès que l’on sort du tableau, le système n’a plus aucune idée de ce qu’il fait. Ils auront, de ce fait, toujours de sérieuses lacunes.

Par ailleurs, ces systèmes sont si gros, avec des des milliers de milliards de paramètres que leurs erreurs sont difficiles à corriger. On ne sait pas vraiment ce qu’il se passe dedans, ni très bien comment réparer ce qui ne marche pas. Les acteurs du secteur partent du principe que plus ils fourniront de données d’entraînement au système, mieux il marchera. La taille des LLM a été multipliée par 10 000. Et ces modèles sont devenus meilleurs, c’est vrai. Mais pas 10 000 fois meilleurs. La grande question du moment dans l’IA c’est de savoir si la prochaine génération de grands modèles de langage justifiera les coûts. La bulle va-t-elle exploser ou est-ce que les entreprises du secteur parviendront à délivrer assez de valeur ? Ce n’est pas évident, surtout quand un acteur comme Meta distribue des capacités IA pour ainsi dire gratuitement en rendant son modèle “open-source”.

Pensez-vous que l’IA fera peu de nouveaux progrès dans les mois et les années à venir ?

La méthode actuelle ne permet plus guère de progrès. Les grandes entreprises l’ont d’ailleurs compris et essayent d’autres méthodes.

Article pour abonnés: https://www.lexpress.fr/economie/high-tech/stuart-russel-berkeley-les-capacites-de-lia-generative-ont-ete-surestimees-OKZED46HGFEVRPSSP4BXWKKJIU/

Certaines applications pratiques sur les smartphones phares de samsung sont pathétiques, comme une image de fond d’écran générée aléatoirement avec 3 ou 4 choix de mots clefs (surtout la couleur) et une dynamique selon la météo, gouttes de pluie et flocons de neige, chose qu’on faisait déjà sur screenblanker de PC il y a 30 ans.