Les chatbots sous stéroïdes peuvent recâbler les affaires

« Je vais maintenant passer le reste de ma vie à déclarer que mes pensées ne sont pas générées par GPT-3. »

En réalité, les tweets de Khattar ont été générés après l'avoir exécuté sur le contenu Twitter de Warikoo – à l'aide d'un modèle d'intelligence artificielle (IA), de programmation en langage naturel (PNL) appelé Generative Pre-Trained Transformer 3.0, ou GPT-3, qui fait vagues sur Internet pour sa capacité à générer du texte de type humain.

Les chatbots sous stéroïdes peuvent recâbler les affaires

Voici un autre exemple. Considérez ce paragraphe: « D'une manière étrange, une IA pourrait nous aider tous à nous rassembler, mais à quel moment cette relation entre l'homme et la machine commence-t-elle à saper qui nous sommes en tant qu'espèce ? Où tracer la ligne entre l'homme et la machine ?  »

Étonnamment, même ces questions ont été générées par un modèle de langage IA et non par un humain. Le paragraphe fait partie d'un épisode qui a été écrit en collaboration avec un humain pour Tinkered Thinking. Le paragraphe a été introduit dans le modèle GPT-3, après quoi le modèle de langage AI a généré un texte plus séquentiel avec un nombre de mots prédéfini. GPT-3 a écrit l'épisode entier de cette manière. Il y a eu aussi des bruits d'entreprises indiennes. Par exemple, Haptik, une unité Jio Platforms appartenant à Mukesh Ambani, a également utilisé GPT-3 « pour générer un e-mail envoyé à toute l'entreprise, écrit un article de blog en l'utilisant, écrit du code en l'utilisant et bien plus encore », selon un blog par Swapan Rajdev, co-fondateur et directeur technique de la startup IA.

Compte tenu de toute cette excitation, il n’est guère surprenant que les entreprises du monde entier – y compris les entreprises indiennes – se réveillent au potentiel de GPT-3.

En Inde, « de nombreux ingénieurs et spécialistes des données attendent l'accès au test bêta du modèle », note Jayanth Kolla, fondateur de la société de recherche et de conseil en technologie profonde, Convergence Catalyst. « Lorsqu'il est disponible sur le marché en Inde, le GPT-3 pourrait être utilisé pour alimenter un certain nombre de chatbots qui sont actuellement utilisés dans le support client et le marketing numérique dans les domaines BFSI (banque, services financiers et assurances), de détail et de commerce électronique.  »

La société américaine Alogia, par exemple, combine déjà l'interface de programmation d'application (API) GTP-3 avec sa propre technologie de recherche pour fournir à ses clients une « recherche sémantique en langage naturel » qui peut simplifier les questions et fournir rapidement des résultats plus pertinents.

Ensuite, MessageBird utilise l'API pour développer des outils automatisés de grammaire et d'orthographe ainsi que du texte prédictif pour améliorer les capacités d'intelligence artificielle de sa boîte de réception. Sapling Intelligence, un assistant d'écriture IA pour les équipes en contact avec les clients, a utilisé GPT-3 pour développer une fonction de recherche basée sur les connaissances qui aide les équipes de vente et de support en suggérant des réponses de chat. Ce battage médiatique initial soulève bien sûr des questions importantes. Dans quelle mesure les possibilités commerciales autour de GPT-3 sont-elles ancrées dans la réalité ? Quels sont les risques potentiels ? Et maintenant que le texte généré par l'IA est là, que va-t-il suivre ?

Définition de GPT-3

GPT-3 est actuellement le plus grand modèle d’apprentissage des langues au monde. Il peut potentiellement être utilisé pour écrire des poèmes, des articles, des livres, des tweets, des CV, passer au crible des documents juridiques et même pour traduire ou écrire du code aussi bien, voire mieux que les humains.

GPT-3 a été publié le 11 juin par OpenAI – une société de recherche à but non lucratif sur l'IA fondée par Elon Musk (qui a démissionné du conseil d'administration mais reste co-président) et d'autres – en tant qu'interface de programmation d'application (API) à tester par les développeurs et créez une multitude de produits logiciels intelligents. OpenAI prévoit de commercialiser le modèle.

« Nous avons reçu des dizaines de milliers de demandes d'accès à GPT-3 via notre API », a tweeté Greg Brockman, président et directeur technique d'OpenAI, le 23 juillet. Il n'exagère pas. De nombreux bêta-testeurs privés dans le monde utilisent actuellement le API non seulement pour générer des histoires courtes et des poèmes, mais aussi des tablatures de guitare, du code informatique, un générateur de recettes et même un moteur de recherche. Des milliers d'autres sont en ligne car il y a une énorme « liste d'attente ».

Son prédécesseur antérieur, beaucoup plus petit, GPT-2 avait 1,5 milliard de paramètres (bien qu'un ensemble de données plus petit ait été publié pour éviter une utilisation abusive potentielle) et formé sur un ensemble de données de 8 millions de pages Web. Les paramètres aident les modèles de Machine Learning (un sous-ensemble d'IA) à faire des prédictions sur de nouvelles données. Les exemples incluent les poids dans un réseau neuronal (appelé ainsi, car il est vaguement modelé sur le cerveau humain).

GPT-2 s'est entraîné sur plus de 10 fois plus de données que son prédécesseur, GPT, qui a été introduit en juin 2018.

GPT-2 nécessite des données de formation spécifiques à une tâche (par exemple, Wikipedia, actualités, livres) pour apprendre des tâches linguistiques telles que la réponse aux questions, la compréhension en lecture, la synthèse et la traduction à partir de texte brut. La raison: les data scientists peuvent utiliser des modèles pré-entraînés et une technique d'apprentissage automatique appelée « apprentissage par transfert » pour résoudre des problèmes similaires à celui qui a été résolu par le modèle pré-entraîné.

La plate-forme de médias sociaux régionale indienne, Sharechat, par exemple, a pré-formé un modèle GPT-2 sur un corpus construit à partir de données Hindi Wikipedia et Hindi Common Crawl pour générer des shayaris (poésie en hindi).

GPT-3 améliore considérablement ces capacités. Selon Debdoot Mukherjee, vice-président-AI chez Sharechat, « GPT-3 est un grand pas en avant pour la communauté PNL. Premièrement, il ne se soucie pas de l'analyse syntaxique, de la grammaire, etc., qui sont chacune des tâches laborieuses. Deuxièmement, je n’ai pas besoin d’être linguiste ou titulaire d’un doctorat. Tout ce dont j'ai besoin, c'est d'avoir des données dans la langue dont j'ai besoin pour traduire et des connaissances en apprentissage profond.  »

Dans un article du 22 juillet intitulé « Les modèles de langage sont des apprenants peu nombreux », les auteurs décrivent GPT-3 comme un modèle de langage autorégressif avec 175 milliards de paramètres. Les modèles autorégressifs utilisent des valeurs passées pour prédire les futures.

Les humains apprennent généralement une nouvelle langue à l'aide de quelques exemples ou d'instructions simples. Ils sont également capables de comprendre le contexte des mots. A titre d'exemple, les humains comprennent bien que le mot « banque » peut être utilisé soit pour parler d'une rivière, soit pour parler de finance, selon le contexte de la phrase. GPT-3 espère utiliser cette capacité contextuelle et le modèle de transformateur (qui lit la séquence entière de mots dans une seule instance plutôt que mot par mot, consommant ainsi moins de puissance de calcul), pour obtenir des résultats similaires.

Couper le battage médiatique

* Entrer un email valide

Les sujets

Array

Tags: , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,