qui a été formé à l’été 2020 — répond à la question « Qui est le président des États-Unis ? avec « Le président actuel des États-Unis est Donald Trump. » La solution proposée par certains chercheurs consiste à donner aux modèles de langage l’accès aux moteurs de recherche Web tels que Google, Bing et DuckDuckGo. L’idée est que ces modèles pourraient simplement rechercher les dernières informations sur un sujet donné (par exemple, la guerre en Ukraine) au lieu de s’appuyer sur des données anciennes et factuellement erronées pour élaborer leur texte. Dans un article publié au début du mois, des chercheurs de DeepMind, le laboratoire d’intelligence artificielle soutenu par Alphabet, la société mère de Google, décrivent un modèle de langage qui répond aux questions en utilisant la recherche Google pour trouver une liste des pages Web récentes et pertinentes. Après avoir condensé les 20 premières pages Web en paragraphes de six phrases, le modèle sélectionne les 50 paragraphes les plus susceptibles de contenir des informations de haute qualité ; génère quatre réponses « candidates » pour chacun des 50 paragraphes (pour un total de 200 réponses) ; et détermine la « meilleure » réponse à l’aide d’un algorithme. Bien que le processus puisse sembler compliqué, les chercheurs affirment qu’il améliore considérablement la précision factuelle des réponses du modèle – jusqu’à 30% – pour les questions et peut être répondu en utilisant les informations trouvées dans un seul paragraphe. Les améliorations de précision étaient moindres pour les questions à sauts multiples, qui nécessitent des modèles pour recueillir des informations à partir de différentes parties d’une page Web. Mais les coauteurs notent que leur méthode peut être appliquée à pratiquement n’importe quel modèle de langage d’IA sans trop de modifications. Le WebGPT d’OpenAI effectue une recherche sur le Web pour trouver des réponses aux questions et cite ses sources. « L’utilisation d’un moteur commercial comme système de récupération nous permet d’avoir accès à des informations à jour sur le monde. Ceci est particulièrement bénéfique lorsque le monde a évolué et que nos modèles de langage obsolètes ont désormais des connaissances dépassées… Les améliorations ne se sont pas limitées aux seuls modèles les plus volumineux ; nous avons constaté une augmentation des performances dans toutes les tailles de modèles », ont écrit les chercheurs, se référant aux paramètres des modèles qu’ils ont testés. Dans le domaine de l’IA, les modèles avec un nombre élevé de paramètres – les parties du modèle apprises à partir des données d’entraînement historiques – sont considérés comme « grands », tandis que les « petits » modèles ont moins de paramètres. L’opinion dominante est que les modèles plus grands fonctionnent mieux que les modèles plus petits – une opinion qui a été remise en question par des travaux récents de laboratoires, dont DeepMind. Se pourrait-il que, au lieu de cela, tout ce dont les modèles linguistiques ont besoin soit l’accès à un plus large éventail d’informations ? Il y a des preuves extérieures pour étayer cela. Par exemple, les chercheurs de Meta (anciennement Facebook) ont développé un chatbot, BlenderBot 2.0, qui a amélioré son prédécesseur en interrogeant Internet pour obtenir des informations à jour sur des choses comme les films et les émissions de télévision. Pendant ce temps, le LaMDA de Google, qui a été conçu pour tenir des conversations avec les gens, « vérifie les faits » lui-même en interrogeant le Web pour les sources. Même OpenAI a exploré l’idée de modèles capables de rechercher et de naviguer sur le Web – le système « WebGPT » du laboratoire a utilisé Bing pour trouver des réponses aux questions.
Nouveaux risques
Mais si la recherche sur le Web ouvre une foule de possibilités pour les systèmes linguistiques d’IA, elle pose également de nouveaux risques. Le Web « en direct » est moins organisé que les ensembles de données statiques historiquement utilisés pour former des modèles de langage et, par implication, moins filtré. La plupart des laboratoires développant des modèles linguistiques s’efforcent d’identifier le contenu potentiellement problématique dans les données de formation afin de minimiser les problèmes futurs potentiels. Par exemple, en créant un ensemble de données textuelles open source contenant des centaines de gigaoctets de pages Web, le groupe de recherche EleutherAI affirme avoir effectué une « analyse approfondie des biais » et pris des « décisions éditoriales difficiles » pour exclure les données qu’ils estimaient être « inacceptablement négativement biaisées » envers certains groupes. ou vues. Le Web en direct peut être filtré dans une certaine mesure, bien sûr. Et comme le notent les chercheurs de DeepMind, les moteurs de recherche comme Google et Bing utilisent leurs propres mécanismes de « sécurité » pour réduire les chances qu’un contenu non fiable atteigne le sommet des résultats. Mais ces résultats peuvent être joués et ne sont pas nécessairement représentatifs de la totalité du Web. Comme le note un article récent du New Yorker, l’algorithme de Google donne la priorité aux sites Web qui utilisent des technologies Web modernes telles que le cryptage, le support mobile et le balisage de schéma. En conséquence, de nombreux sites Web avec un contenu de qualité se perdent dans le shuffle. Cela donne aux moteurs de recherche beaucoup de pouvoir sur les données qui pourraient informer les réponses des modèles de langage connectés au Web. Il a été constaté que Google donne la priorité à ses propres services dans la recherche, par exemple en répondant à une requête de voyage avec des données de Google Places au lieu d’une source plus riche et plus sociale comme TripAdvisor. Dans le même temps, l’approche algorithmique de la recherche ouvre la porte aux mauvais acteurs. En 2020, Pinterest a exploité une bizarrerie de l’algorithme de recherche d’images de Google pour faire apparaître une plus grande partie de son contenu dans les recherches d’images Google, selon The New Yorker. Les laboratoires pourraient plutôt faire en sorte que leurs modèles linguistiques utilisent des moteurs de recherche hors des sentiers battus comme Marginalia, qui explore Internet pour trouver des sites Web moins fréquentés, généralement basés sur du texte. Mais cela ne résoudrait pas un autre gros problème avec les modèles de langage connectés au Web : selon la façon dont le modèle est formé, il pourrait être incité à sélectionner des données provenant de sources qu’il s’attend à ce que les utilisateurs trouvent convaincantes – même si ces sources ne sont pas objectivement le plus fort. Les chercheurs d’OpenAI se sont heurtés à ce problème lors de l’évaluation de WebGPT, ce qui, selon eux, a conduit le modèle à citer parfois des sources « très peu fiables ». WebGPT, ont-ils découvert, incorporait des biais du modèle sur lequel son architecture était basée (GPT-3), et cela a influencé la manière dont il a choisi de rechercher – et de synthétiser – des informations sur le Web. « La recherche et la synthèse dépendent toutes deux de la capacité d’inclure et d’exclure du matériel en fonction d’une certaine mesure de sa valeur, et en incorporant les biais de GPT-3 lors de la prise de ces décisions, on peut s’attendre à ce que WebGPT les perpétue davantage », ont écrit les chercheurs d’OpenAI dans un étude. » les réponses semblent également plus fiables, en partie à cause de l’utilisation de citations. En combinaison avec le problème bien documenté du «biais d’automatisation», cela pourrait conduire à une dépendance excessive aux réponses de WebGPT. Le BlenderBot 2.0 de Facebook cherche des réponses sur le Web. Le biais d’automatisation, pour le contexte, est la propension des gens à faire confiance aux données des systèmes de prise de décision automatisés. Trop de transparence sur un modèle d’apprentissage automatique et les gens sont dépassés. Trop peu, et les gens font des hypothèses erronées sur le modèle, leur inculquant un faux sentiment de confiance. Les solutions aux limitations des modèles de langage qui effectuent des recherches sur le Web restent largement inexplorées. Mais à mesure que le désir de systèmes d’IA plus performants et mieux informés grandit, les problèmes deviendront plus urgents.
La mission de VentureBeat est d’être une place publique numérique permettant aux décideurs techniques d’acquérir des connaissances sur la technologie d’entreprise transformatrice et d’effectuer des transactions. Apprendre encore plus