Google a annoncé une percée dans ses efforts pour créer une architecture d’IA capable de gérer des millions de tâches différentes, y compris l’apprentissage et le raisonnement complexes. Le nouveau système s’appelle Pathways Language Model, appelé PaLM. PaLM est capable de surpasser l’état actuel de l’état de l’art actuel de l’IA et de battre les humains dans les tests de langage et de raisonnement. Mais les chercheurs soulignent également qu’ils ne peuvent pas ébranler les limites inhérentes aux modèles de langues à grande échelle qui peuvent involontairement entraîner des résultats éthiques négatifs.
Informations d’arrière-plan
Les quelques sections suivantes sont des informations générales qui clarifient l’objet de cet algorithme.
Apprentissage en quelques coups
L’apprentissage en quelques coups est la prochaine étape de l’apprentissage qui va au-delà de l’apprentissage en profondeur. Le chercheur de Google Brain, Hugo Larochelle (@hugo_larochelle) a déclaré dans une présentation intitulée, Généraliser à partir de quelques exemples avec le méta-apprentissage (vidéo) a expliqué qu’avec l’apprentissage en profondeur, le problème est qu’ils devaient collecter une grande quantité de données qui nécessitaient une quantité importante du travail humain. Il a souligné que l’apprentissage en profondeur ne sera probablement pas la voie vers une IA capable de résoudre de nombreuses tâches, car avec l’apprentissage en profondeur, chaque tâche nécessite des millions d’exemples à partir desquels apprendre pour chaque capacité qu’une IA apprend.
Larochelle explique :
« … l’idée est qu’on va essayer d’attaquer très directement ce problème, ce problème d’apprentissage en quelques coups, qui est ce problème de généralisation à partir de petites quantités de données. … l’idée principale dans ce que je vais présenter est qu’au lieu d’essayer de définir ce qu’est cet algorithme d’apprentissage par N et d’utiliser notre intuition pour déterminer quel est le bon algorithme pour faire un apprentissage en quelques coups, mais en fait essayer d’apprendre cet algorithme dans une manière de bout en bout. Et c’est pourquoi nous l’appelons apprendre à apprendre ou j’aime l’appeler méta-apprentissage. L’objectif de l’approche en quelques coups est de se rapprocher de la façon dont les humains apprennent différentes choses et peuvent appliquer les différentes connaissances ensemble afin de résoudre de nouveaux problèmes qui n’ont jamais été rencontrés auparavant. L’avantage est alors une machine qui peut tirer parti de toutes les connaissances dont elle dispose pour résoudre de nouveaux problèmes. Dans le cas de PaLM, un exemple de cette capacité est sa capacité à expliquer une blague qu’il n’a jamais rencontrée auparavant.
Pathways IA
En octobre 2021, Google a publié un article exposant les objectifs d’une nouvelle architecture d’IA appelée Pathways. Pathways a représenté un nouveau chapitre dans les progrès en cours dans le développement de systèmes d’IA. L’approche habituelle consistait à créer des algorithmes formés pour très bien faire des choses spécifiques. L’approche Pathways consiste à créer un modèle d’IA unique capable de résoudre tous les problèmes en apprenant à les résoudre, évitant ainsi la manière moins efficace de former des milliers d’algorithmes pour effectuer des milliers de tâches différentes.
Selon le document Pathways :
« Au lieu de cela, nous aimerions former un modèle capable non seulement de gérer de nombreuses tâches distinctes, mais aussi de tirer parti de ses compétences existantes et de les combiner pour apprendre de nouvelles tâches plus rapidement et plus efficacement. De cette façon, ce qu’un modèle apprend en s’entraînant sur une tâche – par exemple, apprendre comment les images aériennes peuvent prédire l’élévation d’un paysage – pourrait l’aider à apprendre une autre tâche – par exemple, prédire comment les eaux de crue traverseront ce terrain. Pathways a défini la voie à suivre par Google pour faire passer l’IA au niveau supérieur afin de combler l’écart entre l’apprentissage automatique et l’apprentissage humain. Le modèle le plus récent de Google, appelé Pathways Language Model (PaLM), est cette prochaine étape et selon ce nouveau document de recherche, PaLM représente un progrès significatif dans le domaine de l’IA.
Ce qui rend Google PaLM remarquable
PaLM met à l’échelle le processus d’apprentissage en quelques prises de vue.
Selon le document de recherche :
«Il a été démontré que les grands modèles de langage atteignent des performances remarquables dans une variété de tâches en langage naturel en utilisant un apprentissage en quelques coups, ce qui réduit considérablement le nombre d’exemples de formation spécifiques à une tâche nécessaires pour adapter le modèle à une application particulière. Pour approfondir notre compréhension de l’impact de l’échelle sur l’apprentissage en quelques coups, nous avons formé un modèle de langage Transformer de 540 milliards de paramètres, densément activé, que nous appelons Pathways Language Model (PaLM). De nombreux articles de recherche publiés décrivent des algorithmes qui ne fonctionnent pas mieux que l’état actuel de la technique ou qui n’obtiennent qu’une amélioration progressive. Ce n’est pas le cas avec PaLM. Les chercheurs revendiquent des améliorations significatives par rapport aux meilleurs modèles actuels et surpassent même les références humaines. Ce niveau de succès est ce qui rend ce nouvel algorithme remarquable.
Les chercheurs écrivent :
«Nous démontrons les avantages continus de la mise à l’échelle en obtenant des résultats d’apprentissage de pointe en quelques coups sur des centaines de références de compréhension et de génération de langues. Sur un certain nombre de ces tâches, PaLM 540B atteint des performances révolutionnaires, surpassant l’état de l’art affiné sur une suite de tâches de raisonnement en plusieurs étapes et surpassant les performances humaines moyennes sur la référence BIG-bench récemment publiée. Un nombre important de tâches BIG-bench ont montré des améliorations discontinues par rapport à l’échelle du modèle, ce qui signifie que les performances ont fortement augmenté à mesure que nous évoluons vers notre plus grand modèle. PaLM surpasse l’état de l’art dans les tâches de traitement du langage naturel anglais, ce qui rend PaLM important et remarquable. Sur un benchmark collaboratif appelé BIG-bench composé de plus de 150 tâches (liées au raisonnement, à la traduction, à la réponse aux questions), PaLM a surpassé l’état de l’art mais il y avait des domaines où il n’a pas fait aussi bien. Il convient de noter que la performance humaine a surpassé PaLM sur 35 % des tâches, en particulier les tâches liées aux mathématiques (voir la section 6.2 BIG-bench du document de recherche, page 17). PaLM était meilleur pour traduire une autre langue en anglais que pour traduire l’anglais dans d’autres langues. Les chercheurs ont déclaré qu’il s’agit d’un problème courant qui pourrait être résolu en donnant la priorité à davantage de données multilingues. Néanmoins, PaLM a largement surpassé les autres modèles de langage et les humains dans tous les domaines.
Capacité à raisonner
Il convient de noter en particulier ses performances dans les tâches de raisonnement arithmétique et de bon sens.
Exemple de tâche arithmétique :
Question:
Roger a 5 balles de tennis. Il achète 2 autres boîtes de balles de tennis. Chaque boîte contient 3 balles de tennis. Combien de balles de tennis a-t-il maintenant ?Répondre:
La réponse est 11.
Exemple de raisonnement de bon sens :
Question:
Sean était pressé de rentrer chez lui, mais le feu est devenu jaune et il a été obligé de faire quoi ?Choix de réponses : (a) prendre du temps (b) traîner (c) aller lentement (d) océan (e) ralentir
Répondre:
La réponse est (e) ralentir.
Génération d’explications
Un autre exemple extraordinaire de l’état d’avancement de PaLM dans les tests de génération d’explications. Voici comment le document de recherche l’explique : « Le but de cette section est de présenter les capacités de PaLM en ce qui concerne la génération de langage explicatif, pour les invites qui nécessitent une combinaison complexe de chaînage d’inférence logique, de connaissance du monde, de compréhension du langage abstrait et de langage lexicographique. compréhension (par exemple, jeux de mots).
Explications de blagues
Voici un exemple de modèle de langage expliquant une blague :
Blague:
J’allais prendre l’avion pour rendre visite à ma famille le 6 avril. Ma mère a dit « Oh génial, la lecture de poésie de ton beau-père est ce soir-là ! » Alors maintenant, je prends l’avion le 7 avril.
Explication du modèle :
La blague est que la mère de l’orateur essaie de les amener à aller à la lecture de poésie de leur beau-père, mais l’orateur ne veut pas y aller, alors ils changent leur vol au lendemain de la lecture de poésie.
Chaînage d’inférence
Voici un exemple de chaînage d’inférence, où plusieurs concepts et entités doivent être correctement joints et pris en compte pour créer une réponse. « Contribution:
Guido écrivait un programme Python. Il continue à être confus par la portée variable et à la rechercher sur StackOverflow. Est-il possible que le Guido dans l’invite fasse référence à Guido van Rossum ?
Sortie du modèle :
Guido van Rossum est le créateur de Python. Il n’aurait pas besoin de rechercher la portée variable sur StackOverflow. La réponse est non ». »
Voici un autre exemple :
« Contribution:
Jennifer a regardé par sa fenêtre et a vu un nuage vraiment cool en dessous d’elle. Elle détache sa ceinture de sécurité et se dirige vers la salle de bain. Est-ce que Jennifer voyage probablement à plus de 300 miles par heure par rapport à la terre ?
Sortie du modèle :
300 milles à l’heure équivaut à environ 480 km/h. C’est à peu près la vitesse d’un avion commercial. Les nuages sont généralement sous les avions, donc Jennifer est probablement dans un avion. La réponse est oui ». »
Moteur de recherche de nouvelle génération ?
L’exemple ci-dessus de la capacité de PaLM pour un raisonnement complexe montre comment un moteur de recherche de nouvelle génération peut être en mesure de répondre à des réponses complexes en utilisant les connaissances d’Internet et d’autres sources. Atteindre une architecture d’IA capable de produire des réponses qui reflètent le monde qui nous entoure est l’un des objectifs déclarés de Google Pathways et PaLM est un pas dans cette direction. Cependant, les auteurs de la recherche ont souligné que PaLM n’est pas le dernier mot sur l’IA et la recherche. Ils ont été explicites en déclarant que PaLM est une première étape vers le prochain type de moteur de recherche envisagé par Pathways. Avant d’aller plus loin, il y a deux mots, du jargon pour ainsi dire, qu’il est important de comprendre afin de comprendre ce qu’est PaLM.
- Modalités
- Généralisation
Le mot « modalités » fait référence à la façon dont les choses sont vécues ou à l’état dans lequel elles existent, comme le texte qui est lu, les images qui sont vues, les choses qui sont écoutées. Le mot « généralisation » dans le contexte de l’apprentissage automatique concerne la capacité d’un modèle de langage à résoudre des tâches pour lesquelles il n’a pas été entraîné auparavant.
Les chercheurs ont noté :
« PaLM n’est que la première étape de notre vision visant à faire de Pathways l’avenir de la mise à l’échelle du ML chez Google et au-delà. Nous pensons que PaLM démontre une base solide dans notre objectif ultime de développer un système modulaire à grande échelle qui aura de larges capacités de généralisation à travers de multiples modalités.
Risques réels et considérations éthiques
Quelque chose de différent dans ce document de recherche est que les chercheurs mettent en garde contre les considérations éthiques. Ils affirment que les modèles linguistiques à grande échelle formés sur les données Web absorbent bon nombre des stéréotypes «toxiques» et des disparités sociales qui se propagent sur le Web et ils déclarent que PaLM n’est pas résistant à ces influences indésirables. Le document de recherche cite un document de recherche de 2021 qui explore comment les modèles linguistiques à grande échelle peuvent favoriser les dommages suivants :
- Discrimination, exclusion et toxicité
- Informations Dangers
- La désinformation nuit
- Utilisations malveillantes
- Interaction homme-ordinateur
- Automatisation, accès et dommages environnementaux
Enfin, les chercheurs ont noté que le PaLM reflète effectivement les stéréotypes sociaux toxiques et indique clairement qu’il est difficile de filtrer ces préjugés.
Les chercheurs de PaLM expliquent :
« Notre analyse révèle que nos données de formation, et par conséquent PaLM, reflètent divers stéréotypes sociaux et associations de toxicité autour des termes d’identité. La suppression de ces associations, cependant, n’est pas triviale… Les travaux futurs devraient se pencher sur la lutte efficace contre ces biais indésirables dans les données et leur influence sur le comportement du modèle. Pendant ce temps, toute utilisation réelle de PaLM pour des tâches en aval devrait effectuer d’autres évaluations d’équité contextualisées pour évaluer les dommages potentiels et introduire des mesures d’atténuation et de protection appropriées. PaLM peut être considéré comme un aperçu de ce à quoi ressemblera la prochaine génération de recherche. PaLM prétend surpasser l’état de l’art, mais les chercheurs affirment également qu’il reste encore du travail à faire, notamment pour trouver un moyen d’atténuer la propagation nuisible de la désinformation, des stéréotypes toxiques et d’autres résultats indésirables.
Citation
Lire l’article du blog sur l’IA de Google à propos de PaLM
Modèle de langage Pathways (PaLM) : passage à 540 milliards de paramètres pour des performances exceptionnelles
Lire le document de recherche de Google sur PaLM
PaLM : Mise à l’échelle de la modélisation du langage avec Pathways (PDF)