Arbre de pensées invitant à de meilleurs résultats d’IA générative

Beaucoup connaissent la méthode populaire de chaîne de pensées (CoT) pour inciter l’IA générative afin d’obtenir des réponses meilleures et plus sophistiquées. Des chercheurs de Google DeepMind et de l'Université de Princeton ont développé une stratégie d'incitation améliorée appelée Tree of Thoughts (ToT) qui amène l'incitation à un niveau de résultats plus élevé, ouvrant la voie à des méthodes de raisonnement plus sophistiquées et à de meilleurs résultats.

Les chercheurs expliquent :

« Nous montrons comment une recherche délibérée dans les arbres de pensées (ToT) produit de meilleurs résultats et, plus important encore, de nouvelles façons intéressantes et prometteuses d'utiliser des modèles de langage pour résoudre des problèmes nécessitant une recherche ou une planification. »

Les chercheurs comparent trois types d’incitations

Le document de recherche compare ToT à trois autres stratégies d’incitation.

Invite d'entrée-sortie (IO)

Il s’agit essentiellement de donner au modèle de langage un problème à résoudre et d’obtenir la réponse. Un exemple basé sur le résumé de texte est  : Invite de saisie  : résumez l'article suivant.

Invite de sortie  : résumé basé sur l'article saisi

Chaîne de réflexion

Cette forme d'incitation permet à un modèle de langage d'être guidé pour générer des réponses cohérentes et connectées en l'encourageant à suivre une séquence logique de pensées. L'invite de chaîne de pensée (CoT) est un moyen de guider un modèle de langage à travers les étapes de raisonnement intermédiaires pour résoudre des problèmes. Exemple de chaîne de réflexion : Question : Roger a 5 balles de tennis. Il achète 2 autres boîtes de balles de tennis. Chaque canette contient 3 balles de tennis. Combien de balles de tennis a-t-il maintenant ?

Raisonnement : Roger a commencé avec 5 balles. 2 boîtes de 3 balles de tennis chacune correspondent à 6 balles de tennis. 5 + 6 = 11. La réponse : 11 Question : La cafétéria avait 23 pommes. S’ils en ont utilisé 20 pour préparer le déjeuner et en ont acheté 6 de plus, combien de pommes ont-ils ?

Auto-cohérence avec CoT

En termes simples, il s'agit d'une stratégie d'incitation consistant à inviter le modèle de langage plusieurs fois, puis à choisir la réponse la plus courante.

Le document de recherche sur la sel-cohérence avec CoT de mars 2023 l'explique  :

« Il échantillonne d’abord un ensemble diversifié de chemins de raisonnement au lieu de prendre uniquement le plus gourmand, puis sélectionne la réponse la plus cohérente en marginalisant les chemins de raisonnement échantillonnés. L’auto-cohérence exploite l’intuition selon laquelle un problème de raisonnement complexe admet généralement plusieurs façons de penser différentes menant à sa réponse correcte unique.

Modèles à double processus dans la cognition humaine

Les chercheurs s'inspirent d'une théorie sur la façon dont la pensée décisionnelle humaine est appelée modèles de processus doubles dans la cognition humaine ou théorie des processus doubles. Les modèles à double processus dans la cognition humaine proposent que les humains s'engagent dans deux types de processus de prise de décision, l'un intuitif et rapide et l'autre plus délibératif et plus lent.

    Rapide, automatique, inconscient

    Ce mode implique une pensée rapide, automatique et inconsciente dont on dit souvent qu’elle est basée sur l’intuition

  • Lent, délibéré, conscient

    Ce mode de prise de décision est un processus de réflexion lent, délibéré et conscient qui implique un examen attentif, une analyse et un raisonnement étape par étape avant de prendre une décision finale

Le cadre d'invite Tree of Thoughts (ToT) utilise une structure arborescente de chaque étape du processus de raisonnement qui permet au modèle de langage d'évaluer chaque étape de raisonnement et de décider si cette étape du raisonnement est viable ou non et conduit à une réponse. Si le modèle de langage décide que le chemin de raisonnement ne mènera pas à une réponse, la stratégie d'incitation l'oblige à abandonner ce chemin (ou branche) et à continuer d'avancer avec une autre branche, jusqu'à ce qu'il atteigne le résultat final.

Arbre de pensées (ToT) versus chaîne de pensées (CoT)

La différence entre ToT et CoT est que ToT a un cadre d'arborescence et de branches pour le processus de raisonnement tandis que CoT emprunte un chemin plus linéaire. En termes simples, CoT indique au modèle de langage de suivre une série d'étapes afin d'accomplir une tâche, qui ressemble au modèle cognitif du système 1 qui est rapide et automatique. ToT ressemble au modèle cognitif du système 2 qui est plus délibératif et indique au modèle de langage de suivre une série d'étapes, mais également de faire intervenir un évaluateur et d'examiner chaque étape et si c'est une bonne étape de continuer et sinon de s'arrêter et de suivre. un autre chemin.

Illustrations de stratégies d’incitation

Le document de recherche a publié des illustrations schématiques de chaque stratégie d’incitation, avec des cases rectangulaires qui représentent une « pensée » à chaque étape vers l’achèvement de la tâche et la résolution d’un problème.

Voici une capture d'écran de ce à quoi ressemble le processus de raisonnement pour ToT  :

Illustration d’une chaîne de réflexion

Voici l'illustration schématique de CoT, montrant comment le processus de pensée est plutôt un chemin droit (linéaire)  :

Le document de recherche explique  :

« La recherche sur la résolution humaine de problèmes suggère que les gens recherchent dans un espace de problèmes combinatoire – un arbre où les nœuds représentent des solutions partielles et les branches correspondent à des opérateurs.

qui les modifie. La branche à prendre est déterminée par des heuristiques qui aident à naviguer dans l’espace du problème et guident celui qui résout le problème vers une solution. Cette perspective met en évidence deux principales lacunes des approches existantes qui utilisent les LM pour résoudre des problèmes généraux : 1) Localement, elles n'explorent pas les différentes suites au sein d'un processus de pensée – les branches de l'arbre. 2) Globalement, ils n’intègrent aucun type de planification, d’anticipation ou de retour en arrière pour aider à évaluer ces différentes options – le genre de recherche guidée par des heuristiques qui semble caractéristique de la résolution de problèmes humains. Pour remédier à ces lacunes, nous introduisons l’Arbre des Pensées (ToT), un paradigme qui permet aux LM d’explorer plusieurs chemins de raisonnement sur les pensées… »

Testé avec un jeu mathématique

Les chercheurs ont testé la méthode à l’aide d’un jeu mathématique Jeu de 24. Game of 24 est un jeu de cartes mathématique dans lequel les joueurs utilisent quatre nombres (qui ne peuvent être utilisés qu'une seule fois) d'un jeu de cartes pour les combiner en utilisant l'arithmétique de base (addition, soustraction, multiplication et division) pour obtenir un résultat de 24.

Résultats et conclusions

Les chercheurs ont testé la stratégie d’incitation ToT par rapport aux trois autres approches et ont constaté qu’elle produisait systématiquement de meilleurs résultats. Cependant, ils notent également que ToT n'est peut-être pas nécessaire pour accomplir des tâches pour lesquelles GPT-4 réussit déjà bien.

Ils concluent :

« Le « Système 1 » associatif des LM peut être avantageusement complété par un « Système 2 » basé sur la recherche d'un arbre de chemins possibles vers la solution d'un problème. Le cadre Tree of Thoughts fournit un moyen de traduire les idées classiques sur la résolution de problèmes en méthodes exploitables pour les LM contemporains. Dans le même temps, les LM répondent à une faiblesse de ces méthodes classiques, en fournissant un moyen de résoudre des problèmes complexes qui ne sont pas facilement formalisés, tels que la créativité.

en écrivant. Nous considérons cette intersection des LM avec les approches classiques de l’IA comme une direction passionnante.

Lisez le document de recherche original  :

Arbre de pensées  : résolution délibérée de problèmes avec de grands modèles de langage