Rejoignez Transform 2021 du 12 au 16 juillet. Inscrivez-vous à l’événement IA de l’année.
Les acteurs malveillants trouvent constamment des moyens de contourner les politiques des plates-formes et de jouer avec leurs systèmes – et 2020 n’a pas fait exception. Selon le traqueur de harcèlement en ligne L1ght, au cours des premières semaines de la pandémie, il y a eu une augmentation de 40% de la toxicité sur les services de jeux populaires, y compris Discord. Les experts en matière de lutte contre la fraude ont constaté une augmentation de divers types de fraude l’année dernière sur les plateformes en ligne, y compris la fraude bancaire et d’assurance. Et de mars 2020 à avril 2020, IBM a observé une augmentation de plus de 6000% du spam lié au COVID-19.
Automatiser la modération de contenu
Plus récemment, la plate-forme a ajouté des outils pour aider les entreprises à rouvrir à indiquer si elles prennent des mesures telles que l’application de la distanciation et de la désinfection, en utilisant une combinaison de modération humaine et d’apprentissage automatique pour mettre à jour les sections avec des informations que les entreprises ont publiées ailleurs.
La création du nouveau système de modération de contenu était plus difficile que les projets d’IA précédents, car les ingénieurs de Yelp avaient un ensemble de données limité avec lequel travailler, a déclaré la société à VentureBeat. La plupart des algorithmes d’apprentissage automatique sont entraînés sur des données d’entrée annotées pour une sortie particulière jusqu’à ce qu’ils puissent détecter les relations sous-jacentes entre les entrées et les résultats de sortie. Pendant la phase d’apprentissage, le système est alimenté par des ensembles de données étiquetés, qui lui indiquent quelle sortie est liée à chaque valeur d’entrée spécifique.
Les corpus de spam annotés de Yelp étaient limités avant la pandémie et ont dû être augmentés au fil du temps. «En fin de compte, nos ingénieurs ont développé une approche multimodèle en plusieurs étapes pour le spam promotionnel et le contenu inapproprié», a déclaré un porte-parole. Dans ce contexte, «inapproprié» fait référence aux spams qui ne respectent pas les directives relatives au contenu de Yelp, y compris la nudité suggestive ou explicite (par exemple, révéler des vêtements, une activité sexuelle), la violence (armes, gestes offensants, symboles de haine) et des substances comme la drogue, le tabac et l’alcool.
Yelp devait également s’assurer que le système comprenait le contexte du contenu téléchargé. Contrairement à la plupart des systèmes d’IA, les humains comprennent la signification du texte, des vidéos, de l’audio et des images ensemble dans leur contexte. Par exemple, étant donné un texte et une image qui semblent inoffensifs lorsqu’ils sont considérés séparément (par exemple, «Regardez combien de personnes vous aiment» et une image d’un désert aride), les gens reconnaissent que ces éléments prennent des connotations potentiellement blessantes lorsqu’ils sont associés ou juxtaposé.
Cadre en deux parties
Au cours de la deuxième étape Un ensemble d’heuristiques joue aux côtés des modèles pour accélérer le pipeline et réagir rapidement aux nouveaux spams potentiels et aux contenus inappropriés.
a déclaré à VentureBeat par e-mail Vivek Raman, vice-président de l’ingénierie de Yelp pour la confiance et la sécurité. «Les modèles ont été formés sur des instances accélérées par GPU, ce qui a rendu la formation au processus d’apprentissage par transfert très efficace – par rapport à la formation d’un réseau neuronal profond à partir de zéro. Les performances des modèles en production sont surveillées pour détecter toute dérive et nous permettre de réagir rapidement à l’évolution des menaces. »
Les réseaux de neurones résiduels s’appuient sur des constructions connues des cellules pyramidales du cortex cérébral, qui transforment les entrées en sorties de potentiels d’action. Les réseaux de neurones convolutifs, qui sont également inspirés par les processus biologiques, sont aptes à analyser l’imagerie visuelle.
Pour le contenu inapproprié, un modèle d’apprentissage en profondeur est utilisé pour aider le cadre à calibrer la précision en fonction des scores de confiance et d’un ensemble d’heuristiques de contexte, comme la catégorie d’entreprise, qui prennent en compte l’endroit où le contenu est affiché.
Combattre les adversaires
Ainsi il est automatiquement supprimé par le système. S’il n’y a pas de correspondance de spam similaire, il peut se retrouver dans la file d’attente de l’équipe de modération de contenu.
En attendant la modération, les images sont masquées aux utilisateurs afin qu’ils ne soient pas exposés à un contenu potentiellement dangereux. Et l’équipe de modération de contenu a la capacité d’agir sur les profils des utilisateurs au lieu de simples éléments de contenu. Par exemple, si un utilisateur génère du spam, son profil utilisateur est fermé et tout le contenu associé est supprimé.
L’IA n’est en aucun cas une solution miracle en matière de modération de contenu. Les chercheurs ont documenté des cas dans lesquels des outils automatisés de modération de contenu sur des plates-formes telles que YouTube ont catégorisé par erreur des vidéos publiées par des organisations non gouvernementales documentant les violations des droits de l’homme par l’Etat islamique en Syrie comme contenu extrémiste et les ont supprimées. Une étude de l’Université de New York estime que les systèmes d’IA de Facebook font à eux seuls environ 300 000 erreurs de modération de contenu par jour, et que les publications problématiques continuent de passer à travers les filtres de Facebook.
Raman reconnaît que les systèmes de modération de l’IA sont susceptibles d’être biaisés, mais affirme que les ingénieurs de Yelp ont pris des mesures pour les atténuer. » peuvent provenir des préjugés conscients ou inconscients de leurs concepteurs, ou des ensembles de données eux-mêmes… Lors de la conception de ce système, nous avons utilisé des techniques d’échantillonnage sophistiquées spécifiquement pour produire des ensembles d’entraînement équilibrés dans le but explicite de réduire les biais dans le système. Nous formons également le modèle à la précision afin de minimiser les erreurs ou la probabilité d’éliminer les faux positifs. »
Raman affirme également que le nouveau système de Yelp augmente, et non remplace, son équipe de modérateurs humains. L’objectif est de hiérarchiser les éléments que les équipes de modération – qui ont le pouvoir de restaurer du contenu faussement signalé – examinent plutôt que de supprimer le spam de manière proactive.
»
VentureBeat
La mission de VentureBeat est d’être une place de la ville numérique pour les décideurs techniques afin d’acquérir des connaissances sur la technologie transformatrice et d’effectuer des transactions.
Notre site fournit des informations essentielles sur les technologies de données et les stratégies pour vous guider dans la conduite de vos organisations. Nous vous invitons à devenir membre de notre communauté, pour accéder :
- des informations à jour sur les sujets qui vous intéressent
- contenu de leader d’opinion fermé et accès à prix réduit à nos événements prisés, tels que Transformer 2021 : Apprendre encore plus
- fonctionnalités de mise en réseau et plus
/li>
Devenir membre