Yelp a créé un système d'IA pour identifier les spams et les photos inappropriées

Rejoignez Transform 2021 du 12 au 16 juillet. Inscrivez-vous à l’événement IA de l’année.

Les acteurs malveillants trouvent constamment des moyens de contourner les politiques des plates-formes et de jouer avec leurs systèmes – et 2020 n’a pas fait exception. Selon le traqueur de harcèlement en ligne L1ght, au cours des premières semaines de la pandémie, il y a eu une augmentation de 40% de la toxicité sur les services de jeux populaires, y compris Discord. Les experts en matière de lutte contre la fraude ont constaté une augmentation de divers types de fraude l’année dernière sur les plateformes en ligne, y compris la fraude bancaire et d’assurance. Et de mars 2020 à avril 2020, IBM a observé une augmentation de plus de 6000% du spam lié au COVID-19.

Yelp n’a pas été à l’abri de la hausse du contenu numérique problématique. Avec une augmentation des annulations de voyages, la société a remarqué une augmentation des images téléchargées avec du texte pour promouvoir de faux numéros de support client et d’autres spams promotionnels. Pour atténuer le problème et automatiser une solution reposant sur des rapports manuels de contenu de sa communauté d’utilisateurs.

Automatiser la modération de contenu

L’utilisation de l’IA et de l’apprentissage automatique par Yelp couvre toute la gamme de la publicité aux recommandations de restaurants, de salons et d’hôtels. La fonctionnalité Collections de l’application exploite une combinaison d’apprentissage automatique, de tri algorithmique et de conservation manuelle pour mettre les hotspots locaux à portée de main des utilisateurs. (L’analyse d’image basée sur l’apprentissage en profondeur identifie automatiquement la couleur. ce qui permet à Yelp de prédire des attributs tels que « bon pour les enfants » et « l’ambiance est élégante ».

Il existe également des plats populaires, la fonctionnalité de Yelp qui met en évidence le nom. Plus récemment, la plate-forme a ajouté des outils pour aider les entreprises à rouvrir à indiquer si elles prennent des mesures telles que l’application de la distanciation et de la désinfection, en utilisant une combinaison de modération humaine et d’apprentissage automatique pour mettre à jour les sections avec des informations que les entreprises ont publiées ailleurs.

La création du nouveau système de modération de contenu était plus difficile que les projets d’IA précédents, car les ingénieurs de Yelp avaient un ensemble de données limité avec lequel travailler, a déclaré la société à VentureBeat. La plupart des algorithmes d’apprentissage automatique sont entraînés sur des données d’entrée annotées pour une sortie particulière jusqu’à ce qu’ils puissent détecter les relations sous-jacentes entre les entrées et les résultats de sortie. Pendant la phase d’apprentissage, le système est alimenté par des ensembles de données étiquetés, qui lui indiquent quelle sortie est liée à chaque valeur d’entrée spécifique.

Les corpus de spam annotés de Yelp étaient limités avant la pandémie et ont dû être augmentés au fil du temps. « En fin de compte, nos ingénieurs ont développé une approche multimodèle en plusieurs étapes pour le spam promotionnel et le contenu inapproprié », a déclaré un porte-parole. Dans ce contexte, « inapproprié » fait référence aux spams qui ne respectent pas les directives relatives au contenu de Yelp, y compris la nudité suggestive ou explicite (par exemple, révéler des vêtements, une activité sexuelle), la violence (armes, gestes offensants, symboles de haine) et des substances comme la drogue, le tabac et l’alcool.

Yelp devait également s’assurer que le système comprenait le contexte du contenu téléchargé. Contrairement à la plupart des systèmes d’IA, les humains comprennent la signification du texte, des vidéos, de l’audio et des images ensemble dans leur contexte. Par exemple, étant donné un texte et une image qui semblent inoffensifs lorsqu’ils sont considérés séparément (par exemple, « Regardez combien de personnes vous aiment » et une image d’un désert aride), les gens reconnaissent que ces éléments prennent des connotations potentiellement blessantes lorsqu’ils sont associés ou juxtaposé.

Cadre en deux parties

Au cours de la deuxième étape, le contenu signalé est exécuté via des modèles d’apprentissage automatique optimisés pour la précision. Un ensemble d’heuristiques joue aux côtés des modèles pour accélérer le pipeline et réagir rapidement aux nouveaux spams potentiels et aux contenus inappropriés.

a déclaré à VentureBeat par e-mail Vivek Raman, vice-président de l’ingénierie de Yelp pour la confiance et la sécurité. « Les modèles ont été formés sur des instances accélérées par GPU, ce qui a rendu la formation au processus d’apprentissage par transfert très efficace – par rapport à la formation d’un réseau neuronal profond à partir de zéro. Les performances des modèles en production sont surveillées pour détecter toute dérive et nous permettre de réagir rapidement à l’évolution des menaces.  »

Dans le cas de spam promotionnel, le système recherche des graphiques simples contenant beaucoup de texte ou de logo. Le contenu inapproprié est un peu plus complexe. Les réseaux de neurones résiduels s’appuient sur des constructions connues des cellules pyramidales du cortex cérébral, qui transforment les entrées en sorties de potentiels d’action. Les réseaux de neurones convolutifs, qui sont également inspirés par les processus biologiques, sont aptes à analyser l’imagerie visuelle.
Pour le contenu inapproprié, un modèle d’apprentissage en profondeur est utilisé pour aider le cadre à calibrer la précision en fonction des scores de confiance et d’un ensemble d’heuristiques de contexte, comme la catégorie d’entreprise, qui prennent en compte l’endroit où le contenu est affiché.

Combattre les adversaires

Ainsi. il est automatiquement supprimé par le système. S’il n’y a pas de correspondance de spam similaire, il peut se retrouver dans la file d’attente de l’équipe de modération de contenu.

En attendant la modération, les images sont masquées aux utilisateurs afin qu’ils ne soient pas exposés à un contenu potentiellement dangereux. Et l’équipe de modération de contenu a la capacité d’agir sur les profils des utilisateurs au lieu de simples éléments de contenu. Par exemple, si un utilisateur génère du spam, son profil utilisateur est fermé et tout le contenu associé est supprimé.

L’IA n’est en aucun cas une solution miracle en matière de modération de contenu. Les chercheurs ont documenté des cas dans lesquels des outils automatisés de modération de contenu sur des plates-formes telles que YouTube ont catégorisé par erreur des vidéos publiées par des organisations non gouvernementales documentant les violations des droits de l’homme par l’Etat islamique en Syrie comme contenu extrémiste et les ont supprimées. Une étude de l’Université de New York estime que les systèmes d’IA de Facebook font à eux seuls environ 300 000 erreurs de modération de contenu par jour, et que les publications problématiques continuent de passer à travers les filtres de Facebook.

Raman reconnaît que les systèmes de modération de l’IA sont susceptibles d’être biaisés, mais affirme que les ingénieurs de Yelp ont pris des mesures pour les atténuer. « [Bias] peuvent provenir des préjugés conscients ou inconscients de leurs concepteurs, ou des ensembles de données eux-mêmes… Lors de la conception de ce système, nous avons utilisé des techniques d’échantillonnage sophistiquées spécifiquement pour produire des ensembles d’entraînement équilibrés dans le but explicite de réduire les biais dans le système. Nous formons également le modèle à la précision afin de minimiser les erreurs ou la probabilité d’éliminer les faux positifs.  »

Raman affirme également que le nouveau système de Yelp augmente, et non remplace, son équipe de modérateurs humains. L’objectif est de hiérarchiser les éléments que les équipes de modération – qui ont le pouvoir de restaurer du contenu faussement signalé – examinent plutôt que de supprimer le spam de manière proactive.

« S’il est important de tirer parti de la technologie pour créer des processus plus efficaces et gérer le contenu à grande échelle, il est encore plus important de créer des freins et contrepoids grâce à la modération humaine », a déclaré Raman. « Les pages professionnelles qui reçoivent moins de trafic sont moins susceptibles de voir un consommateur ou un propriétaire d’entreprise capturer et signaler le contenu à nos modérateurs. Ainsi. »

VentureBeat

La mission de VentureBeat est d’être une place de la ville numérique pour les décideurs techniques afin d’acquérir des connaissances sur la technologie transformatrice et d’effectuer des transactions.

Notre site fournit des informations essentielles sur les technologies de données et les stratégies pour vous guider dans la conduite de vos organisations. Nous vous invitons à devenir membre de notre communauté, pour accéder :

  • des informations à jour sur les sujets qui vous intéressent
  • contenu de leader d’opinion fermé et accès à prix réduit à nos événements prisés, tels que Transformer 2021 : Apprendre encore plus
  • fonctionnalités de mise en réseau et plus

Devenir membre