Facebook utilise maintenant l'IA pour trier le contenu pour une modération plus rapide

Facebook a toujours clairement indiqué qu’il souhaitait que l’intelligence artificielle s’acquitte de plus de tâches de modération sur ses plateformes. Aujourd’hui, il a annoncé sa dernière étape vers cet objectif: mettre l’apprentissage automatique en charge de sa file d’attente de modération.

Voici comment fonctionne la modération sur Facebook. Les publications considérées comme enfreignant les règles de l’entreprise (qui incluent tout, du spam au discours de haine et au contenu qui « glorifie la violence ») sont signalées, soit par les utilisateurs, soit par des filtres d’apprentissage automatique. Certains cas très clairs sont traités automatiquement (les réponses peuvent impliquer la suppression d’un message ou le blocage d’un compte, par exemple) tandis que les autres sont placés dans une file d’attente pour examen par des modérateurs humains.

Facebook utilise maintenant l'IA pour trier le contenu pour une modération plus rapide

Facebook emploie environ 15 000 de ces modérateurs dans le monde et a été critiqué dans le passé pour ne pas avoir suffisamment soutenu ces travailleurs, les employant dans des conditions qui peuvent conduire à des traumatismes. Leur travail consiste à trier les messages signalés et à décider s’ils enfreignent ou non les différentes politiques de l’entreprise.

Dans le passé, les modérateurs examinaient les messages plus ou moins chronologiquement, les traitant dans l’ordre où ils étaient signalés. Maintenant, Facebook dit qu’il veut s’assurer que les publications les plus importantes sont vues en premier et utilise l’apprentissage automatique pour aider. À l’avenir, un amalgame de divers algorithmes d’apprentissage automatique sera utilisé pour trier cette file d’attente, en hiérarchisant les publications en fonction de trois critères: leur viralité, leur gravité et la probabilité qu’ils enfreignent les règles.

Ancien système de modération de Facebook, combinant une modération proactive par des filtres ML et des rapports réactifs des utilisateurs de Facebook. Image: Facebook

Le nouveau flux de travail de modération, qui utilise désormais l’apprentissage automatique pour trier la file d’attente des publications à examiner par des modérateurs humains. Image: Facebook

La pondération exacte de ces critères n’est pas claire, mais Facebook affirme que l’objectif est de traiter d’abord les publications les plus dommageables. Ainsi, plus un message est viral (plus il est partagé et vu), plus vite il sera traité. Il en va de même pour la gravité d’un poste. Facebook dit qu’il classe les publications qui impliquent des dommages dans le monde réel comme les plus importantes. Cela pourrait signifier un contenu impliquant le terrorisme, l’exploitation des enfants ou l’automutilation. Les messages comme le spam, qui sont ennuyeux mais pas traumatisants, sont classés comme les moins importants pour examen.

« Toutes les violations de contenu feront toujours l’objet d’un examen humain substantiel »

« Toutes les violations de contenu feront toujours l’objet d’un examen humain substantiel, mais nous utiliserons ce système pour mieux définir les priorités [that process] » chef de produit au sein de l’équipe d’intégrité de la communauté de Facebook, lors d’un point de presse.

Facebook a partagé quelques détails sur la façon dont ses filtres d’apprentissage automatique analysent les publications dans le passé. Ces systèmes incluent un modèle nommé « WPIE », qui signifie « intégrations intégrales de la publication » et adopte ce que Facebook appelle une approche « holistique » pour évaluer le contenu.

Cela signifie que les algorithmes jugent de concert divers éléments d’un article donné, en essayant de déterminer ce que l’image l’affiche, etc. révèlent ensemble parle-t-il de carrés ou de produits comestibles Rice Krispies

Facebook utilise divers algorithmes d’apprentissage automatique pour trier le contenu, y compris l’outil d’évaluation « holistique » connu sous le nom de WPIE. Image: Facebook

L’utilisation de l’IA par Facebook pour modérer ses plates-formes a fait l’objet d’un examen minutieux dans le passé, les critiques notant que l’intelligence artificielle n’a pas la capacité humaine de juger le contexte de nombreuses communications en ligne. Surtout avec des sujets tels que la désinformation, l’intimidation et le harcèlement, il peut être presque impossible pour un ordinateur de savoir ce qu’il regarde.

Chris Palow, de Facebook, ingénieur logiciel au sein de l’équipe d’intégrité des interactions de la société, a convenu que l’IA avait ses limites « Le système consiste à marier l’IA et des critiques humains pour faire moins d’erreurs totales », a déclaré Palow. « L’IA ne sera jamais parfaite. »

Lorsqu’on lui a demandé quel pourcentage de publications les systèmes d’apprentissage automatique de l’entreprise classaient de manière incorrecte, Palow n’a pas donné de réponse directe, mais a noté que Facebook ne permet aux systèmes automatisés de fonctionner sans supervision humaine que lorsqu’ils sont aussi précis que des critiques humains. « La barre de l’action automatisée est très élevée », a-t-il déclaré. Néanmoins, Facebook ajoute régulièrement plus d’IA au mélange de modération.

Correction: Une version antérieure de cet article donnait à tort le nom de Chris Palow en tant que Chris Parlow. Nous regrettons l’erreur.

Tags: ,