Les documents de recherche peuvent montrer ce qu'est Google MUM

Google Multitask Unified Model (MUM) est une nouvelle technologie permettant de répondre à des questions complexes qui n’ont pas de réponses directes. Google a publié des articles de recherche qui peuvent offrir des indices sur ce qu’est l’IA MUM et sur son fonctionnement.

Algorithmes Google décrits dans les documents de recherche et les brevets

Google ne confirme généralement pas si les algorithmes décrits dans les documents de recherche ou les brevets sont utilisés ou non. Google n’a pas confirmé ce qu’est la technologie du modèle unifié multitâche (MUM).

Documents de recherche sur le modèle unifié multitâche

Parfois, comme ce fut le cas avec Neural Matching, il n’y a pas de documents de recherche ou de brevets qui utilisent explicitement le nom de la technologie. C’est comme si Google avait inventé un nom de marque descriptif pour les algorithmes. C’est un peu le cas avec le modèle unifié multitâche (MUM). Il n’y a pas de brevets ou de documents de recherche portant exactement le nom de marque MUM. Mais… Il existe des articles de recherche qui traitent de problèmes similaires que MUM résout à l’aide de solutions multitâches et de modèles unifiés.

Contexte du problème que MUM résout

La réponse longue aux questions est une requête de recherche complexe à laquelle il est impossible de répondre avec un lien ou un extrait de code. La réponse nécessite des paragraphes d’informations contenant plusieurs sous-thèmes.L’annonce MUM de Google a décrit la complexité de certaines questions avec un exemple de chercheur souhaitant savoir comment se préparer à la randonnée sur le mont Fuji à l’automne.Voici l’exemple de Google d’une requête de recherche complexe : »Aujourd’hui, Google pourrait vous aider, mais cela nécessiterait de nombreuses recherches mûrement réfléchies – vous devrez rechercher l’élévation de chaque montagne, la température moyenne à l’automne, la difficulté des sentiers de randonnée, le bon équipement à utiliser, et plus. »Voici un exemple de question longue :«Quelles sont les différences entre les plans d’eau comme les lacs, les rivières et les océans?» La question ci-dessus nécessite plusieurs paragraphes pour discuter des qualités des lacs, des rivières et des mers, ainsi qu’une comparaison entre chaque plan d’eau les uns par rapport aux autres.Voici un exemple de la complexité de la réponse :

  • Un lac est généralement appelé eau calme car il ne coule pas
  • Une rivière coule
  • Un lac et une rivière sont généralement d’eau douce
  • Mais une rivière et un lac peuvent parfois être saumâtres (salés)
  • Un océan peut avoir des kilomètres de profondeur

Répondre à une question longue forme nécessite une réponse complexe composée de plusieurs étapes, comme l’exemple que Google a partagé sur la question de savoir comment se préparer à faire une randonnée sur le mont Fuji à l’automne.L’annonce MUM de Google ne mentionnait pas la réponse aux questions longues, mais le problème résolu par MUM apparaît pour être exactement cela.

(Citation : Le document de recherche Google révèle une lacune dans la recherche).

Changement dans la façon dont les questions sont traitées

En mai 2021, un chercheur de Google nommé Donald Metzler a publié un article qui présentait le cas selon lequel la manière dont les moteurs de recherche répondent aux questions doit prendre une nouvelle direction afin de donner des réponses à des questions complexes. l’indexation des pages Web et leur classement ne suffisent pas pour répondre à des requêtes de recherche complexes.L’article est intitulé Repenser la recherche : faire des experts à partir de dilettantes (PDF) Un dilettante est quelqu’un qui a une connaissance superficielle de quelque chose, comme un amateur et non un expert.Le papier positionne l’état des moteurs de recherche aujourd’hui comme ceci :«Les systèmes de pointe d’aujourd’hui reposent souvent sur une combinaison d’extraction basée sur les termes… et sémantique… pour générer un premier ensemble de candidats. Cet ensemble de candidats est ensuite généralement transmis à une ou plusieurs étapes de re-classement des modèles. Comme mentionné précédemment, le paradigme index-récupération-puis-classement a résisté à l’épreuve du temps et il n’est pas surprenant que l’apprentissage automatique avancé et basé sur la PNL Les approches font partie intégrante des composants d’indexation, d’extraction et de classement des systèmes modernes. »

Récupération d’informations basée sur un modèle

Le nouveau système décrit par le document de recherche Making Experts de Dilettantes de Google en est un qui supprime la partie index-récupération-rang de l’algorithme.Cette section du document de recherche fait référence à IR, ce qui signifie récupération d’informations, ce qui correspond à la recherche. les moteurs le font.Voici comment l’article décrit cette nouvelle orientation pour les moteurs de recherche :«L’approche, appelée récupération d’informations basée sur un modèle, vise à remplacer le paradigme de longue durée« récupérer-puis-classer »en regroupant les composants d’indexation, de récupération et de classement des systèmes IR traditionnels en un seul modèle unifié.» Le document décrit ensuite en détail le fonctionnement du «modèle unifié». Arrêtons-nous ici pour rappeler que le nom du nouvel algorithme de Google est Modèle unifié multitâcheJe vais sauter la description du modèle unifié pour le moment et noter simplement ceci :«La distinction importante entre les systèmes d’aujourd’hui et le système envisagé réside dans le fait qu’un modèle unifié remplace les composants d’indexation, de recherche et de classement. Essentiellement, on parle de modèle car il n’existe qu’un modèle. »

Capture d’écran montrant ce qu’est un modèle unifié

Dans un autre endroit, le document de recherche Dilettantes déclare :Pour ce faire, un cadre d’extraction d’informations basé sur un modèle est proposé qui rompt avec le paradigme traditionnel de récupération d’index puis de classement en codant les connaissances contenues dans un corpus dans un modèle unifié qui remplace l’indexation, récupération et classement des composants des systèmes traditionnels. »Est-ce une coïncidence que la technologie de Google pour répondre à des questions complexes s’appelle Multitask Unified Model et que le système discuté dans cet article de mai 2021 justifie la nécessité d’un« modèle unifié »pour répondre à des questions complexes des questions?

Qu’est-ce que le document de recherche MUM?

Le document de recherche «Repenser la recherche : faire des experts à partir de dilettantes» répertorie Donald Metzler comme auteur. Il annonce la nécessité d’un algorithme qui accomplisse la tâche de répondre à des questions complexes et suggère un modèle unifié pour y parvenir.Il donne un aperçu du processus mais il est un peu court sur les détails et les expériences.Il existe un autre article de recherche publié en décembre 2020 qui décrit un algorithme qui contient des expériences et des détails et l’un des auteurs est… Donald Metzler.PublicitéContinuer la lecture ci-dessous Le nom du document de recherche de décembre 2020 est, Mélange multitâche d’experts séquentiels pour les flux d’activité des utilisateurs Arrêtez-vous ici, sauvegardez et réitérez le nom du nouvel algorithme de Google : le modèle unifié multitâche Le document de mai 2021 Repenser la recherche : faire des experts à partir de Dilettantes a souligné la nécessité d’un modèle unifié. Le précédent article de recherche de décembre 2020 (du même auteur) s’intitule Multitask Mixture of Sequential Experts for User Activity Streams (PDF). Peut être pas. Les similitudes entre MUM et cet autre article de recherche sont étrangement similaires.

MoSE : mélange multitâche d’experts séquentiels pour les flux d’activité des utilisateurs

TL / DR :

MoSE est un algorithme basé sur la technologie des transformateurs, il apprend à partir de plusieurs sources de données (recherche et navigation dans les journaux) afin de prédire des modèles de recherche complexes en plusieurs étapes. Il est très efficace, ce qui le rend évolutif et puissant.Ces fonctionnalités de MoSE correspondent à certaines qualités de l’algorithme MUM, en particulier que MUM peut répondre à des requêtes de recherche complexes, est basé sur la technologie Transformer et est 1000 fois plus puissant que des technologies comme BERT. Lecture ci-dessous

Ce que fait le MoSE

TL / DR :

MoSE apprend de l’ordre séquentiel des clics de l’utilisateur et des données de navigation. Ces informations lui permettent de modéliser le processus de requêtes de recherche complexes pour produire des réponses satisfaisantes.Ce document de recherche Google de décembre 2020 décrit la modélisation du comportement de l’utilisateur dans un ordre séquentiel, par opposition à la modélisation sur la requête de recherche et le contexte. C’est comme étudier comment un utilisateur a recherché ceci, puis ceci, puis cela pour comprendre comment répondre à une requête complexe.Le papier le décrit comme ceci :«Dans ce travail, nous étudions le difficile problème de la façon de modéliser le comportement séquentiel des utilisateurs dans les paramètres d’apprentissage neuronaux multi-tâches. Notre contribution majeure est un nouveau cadre, Mixture of Sequential Experts (MoSE). Il modélise explicitement le comportement séquentiel des utilisateurs à l’aide de la mémoire à long court terme (LSTM) dans le cadre de modélisation multi-tâches de pointe Multi-gate Mixture-of-Expert. »Cette dernière partie sur« Multi-gate Mixture-of-Expert cadre de modélisation multi-tâches »est une bouchée. C’est une référence à un type d’algorithme qui optimise pour plusieurs tâches / objectifs et c’est à peu près tout ce qu’il faut savoir à ce sujet pour le moment. (Citation : Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts) YouTube, quelles vidéos perpétueront plus d’engagement et quelles vidéos généreront plus de satisfaction des utilisateurs. C’est trois tâches et objectifs.Le papier commente :«L’apprentissage multi-tâches est efficace, en particulier lorsque les tâches sont étroitement corrélées.»

Le MoSE a été formé à la recherche

L’algorithme MoSE se concentre sur l’apprentissage de ce qu’il appelle des données hétérogènes, c’est-à-dire des formes de données différentes / diverses. Ce qui nous intéresse, dans le contexte de MUM, est que l’algorithme MoSE est discuté dans le contexte de la recherche et des interactions des chercheurs. dans leur quête de réponses, c’est-à-dire les étapes suivies par un chercheur pour trouver une réponse. «… dans ce travail, nous nous concentrons sur la modélisation des flux d’activité des utilisateurs à partir de sources de données hétérogènes (par exemple, les journaux de recherche et les journaux de navigation) et les interactions entre eux.» Les chercheurs ont expérimenté et testé l’algorithme MoSE sur les tâches de recherche dans G Suite et Gmail.

Le MoSE peut prédire plus précisément le comportement de recherche

Une autre caractéristique qui fait de MoSE un candidat intéressant pour être pertinent pour MUM est qu’il peut prédire une série de recherches et de comportements séquentiels.Les requêtes de recherche complexes, comme indiqué par le document de recherche MUM, peuvent prendre jusqu’à huit recherches. prédire ces recherches et les incorporer dans les réponses, l’algorithme peut être mieux en mesure de répondre à ces questions complexes.L’annonce de MUM déclare :«Mais avec une nouvelle technologie appelée Multitask Unified Model, ou MUM, nous nous rapprochons de vous aider avec ces types de besoins complexes. Ainsi, à l’avenir, vous aurez besoin de moins de recherches pour faire avancer les choses. »Et voici ce que dit le document de recherche du MoSE :«Par exemple, les flux de comportement des utilisateurs, tels que les journaux de recherche des utilisateurs dans les systèmes de recherche, sont naturellement une séquence temporelle. La modélisation des comportements séquentiels des utilisateurs en tant que représentations séquentielles explicites peut permettre au modèle multi-tâches d’incorporer des dépendances temporelles, prédisant ainsi le comportement futur des utilisateurs avec plus de précision.

MoSE est très efficace avec des coûts de ressources

L’efficacité du MoSE est importante : moins un algorithme a besoin de ressources de calcul pour accomplir une tâche, plus il peut être puissant pour ces tâches, car cela lui donne plus de marge d’évolutivité.MUM serait 1000 fois plus puissant que BERT. Le document de recherche mentionne l’équilibre entre la qualité de la recherche et les «coûts des ressources», les coûts des ressources étant une référence aux ressources informatiques. L’idéal est d’avoir des résultats de haute qualité avec des coûts de ressources informatiques minimes, ce qui lui permettra de se développer pour une tâche plus importante comme la recherche. L’algorithme Penguin ne pouvait être exécuté sur la carte de l’ensemble du Web (appelé graphique de liens) que quelques fois par an. Vraisemblablement, c’était parce qu’il consommait beaucoup de ressources et ne pouvait pas être exécuté quotidiennement.En 2016, Penguin est devenu plus puissant car il pouvait désormais fonctionner en temps réel. Voici un exemple de la raison pour laquelle il est important de produire des résultats de haute qualité avec des coûts de ressources minimes.Voici ce que les chercheurs ont dit à propos des coûts des ressources du MoSE :«Dans des expériences, nous montrons l’efficacité de l’architecture MoSE sur sept architectures alternatives sur des données utilisateur synthétiques et bruyantes du monde réel dans G Suite. Nous démontrons également l’efficacité et la flexibilité de l’architecture MoSE dans un moteur de prise de décision du monde réel dans GMail qui implique des millions d’utilisateurs, équilibrant la qualité de la recherche et les coûts des ressources. »Puis vers la fin de l’article, il rapporte ces résultats remarquables:«Nous soulignons deux avantages du MoSE. Premièrement, en termes de performances, le MoSE surpasse considérablement le modèle de fond partagé fortement optimisé. À l’exigence de 80% d’économies de ressources, MoSE est en mesure de conserver environ 8% de clics de recherche de documents en plus, ce qui est très important dans le produit.En outre, MoSE est robuste à différents niveaux d’économie de ressources en raison de sa puissance de modélisation, même si nous attribué des poids égaux aux tâches pendant la formation. »Et de la puissance et de la flexibilité nécessaires pour pivoter pour changer, il se vante :«Cela donne au MoSE plus de flexibilité lorsque les exigences de l’entreprise ne cessent de changer dans la pratique, car un modèle plus robuste comme le MoSE peut réduire la nécessité de reformer le modèle, en comparant avec des modèles plus sensibles aux pondérations d’importance pendant la formation.»

Maman, MoSE et transformateur

MUM a été annoncé avoir été construit en utilisant la technique Transformer.L’annonce de Google a noté :«MUM a le potentiel de transformer la façon dont Google vous aide dans des tâches complexes. Comme BERT, MUM est construit sur une architecture Transformer, mais il est 1000 fois plus puissant. »Les résultats rapportés dans le document de recherche du MoSE de décembre 2020, il y a six mois, étaient remarquables, mais la version de MoSE testée en 2020 n’a pas été construite avec l’architecture Transformer. Les chercheurs ont noté que le MoSE pourrait facilement être étendu avec des transformateurs.Les chercheurs (dans un article publié en décembre 2020) ont mentionné les transformateurs comme une orientation future pour le MoSE :«Expérimenter des techniques plus avancées telles que Transformer est considéré comme un travail futur.… Le MoSE, composé de blocs de construction généraux, peut être facilement étendu, comme l’utilisation d’autres unités de modélisation séquentielle en plus de LSTM, y compris les GRU, les attentions et les Transformers…» Selon le document de recherche, le MoSE pourrait facilement être suralimenté en utilisant d’autres architectures, comme les transformateurs. Cela signifie que MoSE pourrait faire partie de ce que Google a annoncé comme MUM.

Pourquoi le succès du MoSE est remarquable

Google publie de nombreux brevets d’algorithmes et documents de recherche. Beaucoup d’entre eux repoussent les limites de l’état de la technique tout en notant des défauts et des erreurs qui nécessitent des recherches supplémentaires. Ce n’est pas le cas avec le MoSE. C’est tout le contraire. Les chercheurs notent les réalisations du MoSE et la possibilité de l’améliorer encore. Ce qui rend la recherche du MoSE encore plus remarquable, c’est le niveau de succès qu’elle revendique et la porte qu’elle laisse ouverte pour faire encore mieux. et important lorsqu’un document de recherche prétend réussir et non pas un mélange de succès et de pertes. Cela est particulièrement vrai lorsque les chercheurs prétendent obtenir ces succès sans niveaux de ressources significatifs.

MoSE est-il la technologie Google MUM AI?

MUM est décrite comme une technologie d’intelligence artificielle. MoSE est classé dans la catégorie Intelligence artificielle sur le blog IA de Google. Quelle est la différence entre l’intelligence artificielle et l’intelligence artificielle? Pas beaucoup, ils sont à peu près dans la même catégorie (notez que j’ai écrit INTELLIGENCE machine, pas l’apprentissage automatique). La base de données Google AI Publications classe les articles de recherche sur l’intelligence artificielle dans la catégorie Intelligence artificielle. Il n’existe pas de catégorie d’intelligence artificielle. Nous ne pouvons pas dire avec certitude que le MoSE fait partie de la technologie qui sous-tend le MUM de Google.

  • Il est possible que MUM soit en fait un certain nombre de technologies travaillant ensemble et que le MoSE en fasse partie
  • Il se pourrait que MoSE soit une partie importante de Google MUM
  • Ou il se pourrait que MoSE n’ait rien à voir avec MUM

Néanmoins, il est fascinant que le MoSE soit une approche réussie pour prédire le comportement de recherche des utilisateurs et qu’il puisse facilement être mis à l’échelle à l’aide de Transformers.Que cela fasse ou non partie de la technologie MUM de Google, les algorithmes décrits dans ces articles montrent l’état de l’art. dans la recherche d’informations est.

Citations

MoSE – Mélange multitâche d’experts séquentiels pour les flux d’activité des utilisateurs (PDF)Repenser la recherche : faire de Dilettantes des experts (PDF)Annonce officielle de MUM par Google

MUM : un nouveau jalon de l’IA pour la compréhension de l’information

Tags: ,