ChatGPT produit un contenu complet et plausiblement précis. Mais chercheurs, artistes et professeurs mettent en garde contre des lacunes à prendre en compte qui dégradent la qualité du contenu. Dans cet article, nous examinerons 11 inconvénients du contenu ChatGPT. Plongeons dedans.
L’utilisation de la phrase la rend détectable comme non humaine
Les chercheurs qui étudient comment détecter le contenu généré par une machine ont découvert des modèles qui le rendent non naturel. L’une de ces bizarreries est la façon dont l’IA se débat avec les idiomes. Un idiome est une phrase ou un dicton auquel est attachée une signification figurative, par exemple, « chaque nuage a une doublure argentée ». Un manque d’idiomes dans un élément de contenu peut être un signal que le contenu est généré par une machine – et cela peut faire partie d’un algorithme de détection. C’est ce que dit l’article de recherche de 2022 Adversarial Robustness of Neural-Statistical Features in Detection of Generative Transformers à propos de cette bizarrerie du contenu généré par la machine : « Les caractéristiques de phrase complexes sont basées sur la fréquence de mots et de phrases spécifiques dans le texte analysé fréquemment dans le texte humain. … Parmi ces caractéristiques phrasales complexes, les caractéristiques idiomatiques conservent le pouvoir prédictif le plus important dans la détection des modèles génératifs actuels. Cette incapacité à utiliser des idiomes contribue à rendre la sortie de ChatGPT sonore et lue de manière peu naturelle.
ChatGPT manque de capacité d’expression
a commenté une parole ChatGPT qui lui a été envoyée, qui a été créée dans le style de Nick Cave. Il a écrit : « Ce qui rend une grande chanson géniale, ce n’est pas sa ressemblance avec une œuvre reconnaissable. … c’est la confrontation haletante avec sa vulnérabilité, sa dangerosité, sa petitesse, face à un sentiment de découverte soudaine et choquante ; c’est l’acte artistique rédempteur qui remue le cœur de l’auditeur, où l’auditeur reconnaît dans le fonctionnement interne de la chanson son propre sang, sa propre lutte, sa propre souffrance. Cave a qualifié les paroles de ChatGPT de moquerie. Voici les paroles de ChatGPT qui ressemblent à celles de Nick Cave : « J’ai le sang des anges sur les mains
J’ai le feu de l’enfer, dans mes yeux
Je suis le roi de l’abîme, je suis le maître des ténèbres
Je suis celui qu’ils craignent, dans l’ombre ils harcèlent » Et voici une vraie parole de Nick Cave (Brother, My Cup Is Empty) :
Je me suis balancé des étoiles
Maintenant ce misérable en vêtements de mendiant
Frappe sa tasse à travers les barreaux
Regarde, cette tasse à moi est vide !
Il semble que j’ai égaré mes désirs
Il semble que je balaie les cendres
De tous mes anciens feux » Il est facile de voir que les paroles générées par la machine ressemblent aux paroles de l’artiste, mais elles ne communiquent vraiment rien. Les paroles de Nick Cave racontent une histoire qui résonne avec le pathos, le désir, la honte et la tromperie délibérée de la personne qui parle dans la chanson. Il exprime des pensées et des sentiments. Il est facile de comprendre pourquoi Nick Cave appelle cela une moquerie.
ChatGPT ne produit pas d’informations
ChatGPT résume le sujet mais n’offre pas un aperçu unique du sujet même si un essai ChatGPT peut présenter des qualités grammaticales élevées et des idées sophistiquées, il manque toujours de perspicacité. Bartel a déclaré : «Ils sont vraiment moelleux. Il n’y a pas de contexte, il n’y a pas de profondeur ou de perspicacité. Insight est la marque d’un essai bien fait et c’est quelque chose que ChatGPT n’est pas particulièrement doué. Ce manque de perspicacité est quelque chose à garder à l’esprit lors de l’évaluation du contenu généré par la machine.
ChatGPT est trop verbeux
Un article de recherche publié en janvier 2023 a découvert des modèles dans le contenu ChatGPT qui le rendent moins adapté aux applications critiques. Le document s’intitule, Quelle est la proximité entre ChatGPT et les experts humains ? Corpus de comparaison, évaluation et détection. La recherche a montré que les humains préféraient les réponses de ChatGPT dans plus de 50% des questions auxquelles les réponses étaient liées à la finance et à la psychologie. Mais ChatGPT n’a pas réussi à répondre aux questions médicales parce que les humains préféraient les réponses directes, ce que l’IA ne fournissait pas. Les chercheurs ont écrit : « … ChatGPT fonctionne mal en termes d’utilité pour le domaine médical en anglais et en chinois. Le ChatGPT donne souvent de longues réponses aux consultations médicales dans notre ensemble de données collectées, tandis que les experts humains peuvent donner directement des réponses ou des suggestions simples, ce qui peut expliquer en partie pourquoi les volontaires considèrent que les réponses humaines sont plus utiles dans le domaine médical. ChatGPT a tendance à couvrir un sujet sous différents angles, ce qui le rend inapproprié lorsque la meilleure réponse est directe. Les spécialistes du marketing utilisant ChatGPT doivent en tenir compte, car les visiteurs du site nécessitant une réponse directe ne seront pas satisfaits d’une page Web détaillée. Et bonne chance pour classer une page trop verbeuse dans les extraits de Google, où une réponse succincte et clairement exprimée qui peut bien fonctionner dans Google Voice peut avoir une meilleure chance de se classer qu’une réponse longue. OpenAI, les créateurs de ChatGPT, reconnaît que donner des réponses détaillées est une limitation connue. L’article d’annonce d’OpenAI déclare : « Le modèle est souvent excessivement verbeux. » Le parti pris de ChatGPT pour fournir des réponses longues est quelque chose à garder à l’esprit lors de l’utilisation de la sortie ChatGPT, car vous pouvez rencontrer des situations où des réponses plus courtes et plus directes sont meilleures.
Le contenu ChatGPT est hautement organisé avec une logique claire
Que fais-tu? » Une réponse humaine normale serait de dire quelque chose comme s’ils criaient, marchaient dehors et l’écrasaient, et ainsi de suite. Mais lorsque j’ai posé cette question à ChatGPT, il a offert une réponse méticuleusement organisée qui résumait la question et offrait ensuite plusieurs résultats possibles logiques – ne répondant pas à la question réelle.
Capture d’écran de ChatGPT répondant à une question de test Voight-Kampff
Capture d’écran de ChatGPT, janvier 2023 La réponse est très organisée et logique, ce qui lui donne une sensation très peu naturelle, ce qui n’est pas souhaitable.
ChatGPT est trop détaillé et complet
ChatGPT a été formé de manière à récompenser la machine lorsque les humains étaient satisfaits de la réponse. Les évaluateurs humains avaient tendance à préférer les réponses plus détaillées. Mais parfois, comme dans un contexte médical, une réponse directe vaut mieux qu’une réponse complète. Cela signifie que la machine doit être incitée à être moins complète et plus directe lorsque ces qualités sont importantes. Selon OpenAI : « Ces problèmes découlent de biais dans les données de formation (les formateurs préfèrent des réponses plus longues qui semblent plus complètes) et de problèmes de sur-optimisation bien connus. »
ChatGPT Lies (hallucine les faits)
Le document de recherche cité ci-dessus, À quel point ChatGPT est-il proche des experts humains ?, a noté que ChatGPT a tendance à mentir. Il rapporte : « Lorsqu’il répond à une question qui nécessite des connaissances professionnelles dans un domaine particulier, ChatGPT peut fabriquer des faits afin de donner une réponse… Par exemple, dans les questions juridiques, ChatGPT peut inventer des dispositions légales inexistantes pour répondre à la question. … De plus, lorsqu’un utilisateur pose une question qui n’a pas de réponse existante, ChatGPT peut également fabriquer des faits afin de fournir une réponse. Le site Web Futurism a documenté des cas où le contenu généré par la machine publié sur CNET était erroné et plein d ‘«erreurs stupides». CNET aurait dû avoir une idée que cela pourrait arriver, car OpenAI a publié un avertissement concernant une sortie incorrecte : « ChatGPT écrit parfois des réponses plausibles mais incorrectes ou absurdes. » CNET affirme avoir soumis les articles générés par la machine à un examen humain avant leur publication. Un problème avec l’examen humain est que le contenu ChatGPT est conçu pour sembler correct de manière convaincante, ce qui peut tromper un examinateur qui n’est pas un expert du sujet.
ChatGPT n’est pas naturel car il n’est pas divergent
Le document de recherche, À quel point ChatGPT est-il proche des experts humains ? a également noté que la communication humaine peut avoir une signification indirecte, ce qui nécessite un changement de sujet pour la comprendre. ChatGPT est trop littéral, ce qui fait que les réponses manquent parfois la cible car l’IA néglige le sujet réel. Les chercheurs ont écrit : « Les réponses de ChatGPT sont généralement strictement axées sur la question donnée, alors que celles des humains sont divergentes et passent facilement à d’autres sujets. En termes de richesse de contenu, les humains sont plus divergents sur différents aspects, tandis que ChatGPT préfère se concentrer sur la question elle-même. Les humains peuvent répondre au sens caché sous la question en se basant sur leur propre bon sens et leurs propres connaissances, mais le ChatGPT s’appuie sur les mots littéraux de la question posée… « Les humains sont mieux à même de s’écarter de la question littérale, ce qui est important pour répondre » qu’en est-il des questions de type. Par exemple, si je demande : « Les chevaux sont trop gros pour être un animal domestique. Et les ratons laveurs ? La question ci-dessus ne demande pas si un raton laveur est un animal de compagnie approprié. La question porte sur la taille de l’animal. ChatGPT se concentre sur la pertinence du raton laveur en tant qu’animal de compagnie au lieu de se concentrer sur la taille.
Capture d’écran d’une réponse ChatGPT trop littérale
Capture d’écran de ChatGPT, janvier 2023
ChatGPT contient un biais vers la neutralité
La sortie de ChatGPT est généralement neutre et informative. C’est un biais dans la sortie qui peut sembler utile mais qui ne l’est pas toujours. Le document de recherche dont nous venons de discuter a noté que la neutralité est une qualité indésirable lorsqu’il s’agit de questions juridiques, médicales et techniques. Les humains ont tendance à choisir un camp lorsqu’ils offrent ce genre d’opinions.
ChatGPT est biaisé pour être formel
La sortie de ChatGPT a un biais qui l’empêche de se détendre et de répondre avec des expressions ordinaires. Au lieu de cela, ses réponses ont tendance à être formelles. Les humains, en revanche, ont tendance à répondre aux questions avec un style plus familier, en utilisant le langage courant et l’argot – le contraire du formel. ChatGPT n’utilise pas d’abréviations telles que GOAT ou TL;DR. Les réponses manquent également d’exemples d’ironie, de métaphores et d’humour, ce qui peut rendre le contenu ChatGPT trop formel pour certains types de contenu. Les chercheurs écrivent : « .ChatGPT aime utiliser des conjonctions et des adverbes pour transmettre un flux logique de pensée, comme « En général », « d’autre part », « Premièrement. Deuxièmement. Enfin » et ainsi de suite.
ChatGPT est toujours en formation
ChatGPT est actuellement encore en cours de formation et d’amélioration. OpenAI recommande que tout le contenu généré par ChatGPT soit examiné par un humain, ce qui constitue une bonne pratique. OpenAI suggère de garder les humains au courant : « Dans la mesure du possible, nous recommandons de faire examiner les résultats par un humain avant qu’ils ne soient utilisés dans la pratique. Ceci est particulièrement critique dans les domaines à enjeux élevés et pour la génération de code. Les humains doivent être conscients des limites du système et avoir accès à toutes les informations nécessaires pour vérifier les résultats (par exemple, si l’application résume les notes, un humain doit avoir un accès facile aux notes originales pour s’y reporter).
Qualités indésirables de ChatGPT
Il est clair qu’il existe de nombreux problèmes avec ChatGPT qui le rendent impropre à la génération de contenu non supervisée. Il contient des préjugés et ne parvient pas à créer un contenu qui semble naturel ou qui contient de véritables idées. De plus, son incapacité à ressentir ou à créer des pensées originales en fait un mauvais choix pour générer des expressions artistiques. Les utilisateurs doivent appliquer des invites détaillées afin de générer un contenu meilleur que le contenu par défaut qu’il a tendance à produire. Enfin, l’examen humain du contenu généré par la machine n’est pas toujours suffisant, car le contenu ChatGPT est conçu pour apparaître correct, même lorsqu’il ne l’est pas. Cela signifie qu’il est important que les réviseurs humains soient des experts en la matière capables de discerner le contenu correct du contenu incorrect sur un sujet spécifique.
Davantage de ressources:
Image sélectionnée par Shutterstock/fizkes