OpenAI, la société de recherche en IA derrière ChatGPT, a publié un nouvel outil pour faire la distinction entre le texte généré par l’IA et généré par l’homme. Même s’il est impossible de détecter le texte écrit par l’IA avec une précision de 100 %, OpenAI pense que son nouvel outil peut aider à atténuer les fausses allégations selon lesquelles les humains ont écrit du contenu généré par l’IA. Dans une annonce, OpenAI indique que son nouveau classificateur de texte IA peut limiter la capacité de mener des campagnes de désinformation automatisées, d’utiliser des outils d’IA pour la fraude universitaire et de se faire passer pour des humains avec des chatbots. Lorsqu’il est testé sur un ensemble de textes en anglais, l’outil peut dire correctement si le texte a été écrit par l’IA 26 % du temps. Mais il pensait également à tort que le texte écrit par l’homme était écrit par l’IA 9% du temps. OpenAI dit que son outil fonctionne mieux plus le texte est long, ce qui pourrait expliquer pourquoi il nécessite un minimum de 1 000 caractères pour exécuter un test. Les autres limitations du nouveau classificateur de texte OpenAI incluent les suivantes :
- Peut mal étiqueter le texte généré par l’IA et écrit par l’homme
- Le texte généré par l’IA peut échapper au classificateur avec des modifications mineures
- Peut se tromper avec du texte écrit par des enfants et sur du texte qui n’est pas en anglais car il a été principalement formé sur du contenu en anglais écrit par des adultes
Dans cet esprit, regardons comment il fonctionne.
Utilisation du classificateur de texte AI d’OpenAI
Le classificateur de texte AI d’OpenAI est simple à utiliser. collez le texte que vous souhaitez tester et appuyez sur le bouton Soumettre. L’outil évaluera la probabilité que l’IA ait généré le texte que vous avez soumis. Les résultats vont des suivants :
- Très improbable
- Peu probable
- Pas clair si c’est
- Peut-être
- Probable
Je l’ai testé en demandant à ChatGPT d’écrire un essai sur le référencement, puis en soumettant le texte textuellement au classificateur de texte AI. Il a évalué l’essai généré par ChatGPT comme peut-être générée par l’IA, qui est un indicateur fort mais incertain. Capture d’écran de : platform.openai.com/ai-text-classifier, janvier 2023 Ce résultat illustre les limites de l’outil, car il ne pouvait pas dire avec un degré élevé de certitude que le texte généré par ChatGPT a été écrit par l’IA. En appliquant des modifications mineures suggérées par Grammarly, j’ai réduit la note de peut-être pour pas clair. OpenAI a raison de dire qu’il est facile d’échapper au classificateur. Cependant, ce n’est pas censé être la seule preuve que l’IA a écrit quelque chose. Dans une section FAQ au bas de la page, OpenAI déclare : « Notre utilisation prévue pour le classificateur de texte AI est de favoriser la conversation sur la distinction entre le contenu écrit par l’homme et généré par l’IA. Les résultats peuvent aider, mais ne doivent pas être la seule preuve pour décider si un document a été généré avec l’IA. Le modèle est formé sur du texte écrit par l’homme à partir de diverses sources, qui peuvent ne pas être représentatifs de tous les types de texte écrit par l’homme. OpenAI ajoute que l’outil n’a pas été testé de manière approfondie pour détecter le contenu contenant une combinaison d’IA et de texte écrit par l’homme. En fin de compte, le classificateur de texte AI peut être une ressource précieuse pour signaler un texte potentiellement généré par l’IA, mais il ne doit pas être utilisé comme mesure définitive pour rendre un verdict. Image en vedette :/Shutterstock