Yahoo développe une IA pour censurer les contenus inappropriés sur internet

Le déferlement exponentiel de contenus inappropriés sur internet met les entreprises du web au défi de trouver de nouvelles solutions de modération. Yahoo Labs a développé une IA pour le faire.

La censure, nœud-gordien des acteurs du web

Internet, espace de liberté ? Espace de modération plutôt ! Le web est un flux permanent d’interactions entre internautes. Face à ce tsunami d’informations, les sites web, quelle que soit leur taille, recourent au service des modérateurs, ces censeurs de l’ombre dont le travail morbide avait fait l’objet d’une enquête.

En 2012, le réseau social Facebook créait la polémique en supprimant une publication qui montrait la célèbre peinture de Courbet, l’Origine du monde.

Le débat sur la suppression des propos jugés inappropriés sur le web ravivé, Facebook avait riposté en ouvrant une section pour éclaircir sa politique de censure. Avant 2015, les règles de censure n’étaient aucunement explicitées par le réseau social dont le coup de sabre s’abattait sans explications. Aujourd’hui on en sait déjà plus. Parmi ceux rejetés par la firme, on peut citer « les discours incitant à la haine, contenus violents et explicites et la nudité« . Si tout le monde s’accorde à dire que ces aspects précis sont sujets à caution sur les plate formes ouvertes à tous comme Facebook, ils renvoient cependant à des notions et des valeurs qui varient selon les cultures et les générations. La majorité des entreprises du web étant originaires des Etats-Unis, les règles de censure ont été inspirées par les normes morales du pays. Aussi, pour éviter toute polémique, la stratégie adoptée par Facebook a été celle de la tolérance zéro. Bien que le dépoussiérage de 2015 ait finalement autorisé la publication d’images de nudité à caractère artistique comme l’Origine du monde.

Mais une fois passé ce débat culturel et ô combien subjectif, encore faut-il que les règles, aussi précises soient-elles, soient respectés dans les faits et sans ménagement. A la différence de la souplesse de jugement dont dispose le Conseil Supérieur de l’Audiovisuel français pour le cinéma, les géants du web se tournent de plus en plus vers des solutions d’évaluation objectives, ou automatiques tout du moins. Au-delà de la fonctionnalité « signaler la publication », le réseau social a déployé une myriade d’algorithmes capables d’identifier les écrits inappropriés… avec plus ou moins de succès.

Car malgré leurs mises à jour, les réseaux sociaux peinent à suivre le rythme et la rapidité de propagation des commentaires et partages inappropriés. Cette incapacité à répondre au plus vite à ces questions a notamment été exacerbée par les récents attentats de Paris, Orlando et Nice qui ont provoqué un déferlement de contenus violents et haineux. La riposte a été immédiate et elle n’est pas venue de Facebook mais plutôt du gouvernement français, qui s’est illustré par un nombre astronomique de signalements en 2015 :

chartoftheday_4838_la_france_reine_de_la_censure_des_contenus_n

En janvier 2016, une enquête de « l’œil du 20h » de France 2 enfonçait le clou et révélait l’ampleur du déboire. Les journalistes de la chaîne publique ont crée deux profils, l’un diffusant des photos de nus artistiques, et l’autre des photos et vidéos de propagande de l’Etat Islamique. Deux semaines plus tard, aucun contenu n’avait été supprimé. Ils ont donc signalé eux-mêmes ceux montrant les seins de femme. Résultat : suppression de toutes les photos dans la journée. Pour ceux à caractère violent ou terroriste, il aura fallu compter deux jours, sachant que le réseau a toléré trois d’entre eux, jugeant qu’ils ne violaient aucun standard, alors même qu’une des photos conservées montrait un homme brûlé vif. Ainsi 100% des photos de nus ont été supprimées quand une partie des images et textes liée au terrorisme est restée en ligne. Une déconvenue liée à l’automatisation de la censure de la nudité. Du reste, Facebook affirme dans le même reportage recourir à « plusieurs centaines de modérateurs » bien réels pour évaluer la plupart des autres contenus signalés, et ce, selon le contexte et le message véhiculé, comme pour les vidéos d’incitation à la haine ou au terrorisme par exemple.

Les algorithmes pour trancher ?

Pour modérer les propos en ligne, la plupart des entreprises recourt soit à des modérateurs soit à des listes noires. Deux techniques très limitées. C’est pourquoi les grands groupes élaborent des algorithmes toujours plus capables de comprendre les finesses de la langue. Dans certains cas, les algorithmes s’avèrent très efficaces. Mais pour d’autres, comme les vidéos de propagandes et les textes d’incitation à la haine, la tâche est nettement plus compliquée car cela passe par une évaluation contextuelle. Comprendre un texte est tout sauf une mince affaire pour une machine, jugez-en par vous-même avec les outils de traduction en ligne. Ce procédé implique des critères contextuels et donc indéfinis. Comment une machine peut-elle assumer sa mission d’analyse lorsque le caractère inapproprié de ces derniers dépend du contexte lui-même particulièrement contingent ?

Et c’est sans compter sur l’ingéniosité des utilisateurs qui trouvent des moyens de contourner habilement ces règles. Supprimez une lettre par ici, ajoutez en une autre par là et remplacez les lettres « a » par le chiffre 4 et vous obtenez un message crypté pour n’importe quel programme informatique. D’ailleurs la plupart d’entre nous le font sans même s’en rendre compte. Il suffit d’employer des mots d’argot ou de mélanger les langues pour tromper le programme. Comment une machine pourrait-elle donc rivaliser avec la créativité des humains ?

C’est la question à laquelle a voulu répondre une équipe de chercheurs de Yahoo. C’est peut-être la dernière invention du groupe présidé par Marissa Mayer. Malgré ses difficultés, son statut longtemps conservé de pionnier puis de leader du web, Yahoo! n’en finit plus de toucher le fond, au bénéfice de l’opérateur Verizon qui vient de racheter le cœur de ses activités pour 4,4 milliards de dollars, après avoir mis la main sur un autre acteur historique : AOL.

Dans tous les cas, la firme n’a pas dit son dernier mot en terme de R&D, car sa nouvelle IA a pour ambition de traquer les contenus injurieux et choquants sur le web mieux que jamais. Le nouvel algorithme aurait ainsi atteint un taux de précision de 90%, ce qui est bien supérieur à ses concurrents. Comme la rapporte le MIT Technology Review, pour concevoir et affiner son programme, l’équipe de chercheurs a associé des techniques banales (détection d’injures, de types de ponctuations qui accompagnent généralement ces injures, règles syntaxiques…) mais aussi de techniques plus avancées relatives au sens des mots. Le tout pour passer au crible un corpus de commentaires signalés et retirés des articles de Yahoo Finance et Yahoo News entre 2012 et 2014, combinés à des commentaires respectueux.

Le word embedding pour re-contextualiser

Pour se référer à cette approche, les ingénieurs parlent de « word embedding« . La même qui avait été adoptée par les équipes de Facebook pour concevoir leur algorithme Deep Text. Ce procédé permet au programme informatique d’analyser et de traiter des données sémantiques, principal défi de compréhension informatique du langage. Car le terme même de programmation véhicule une notion d’anticipation, de supervision et de constance. La plupart des outils de traduction et de compréhension textuelles utilisent des étiquettes pour catégoriser les mots, mais pour que la relation entre l’étiquette et le mot soit préservée, ce dernier doit nécessairement être écrit comme on l’a enseigné au programme. Or, avec le deep learning et la technique du word embedding, on peut créer des ponts entre les différentes variantes, passer de « frérot » à « frère » en repérant des similitudes morphologiques.

Et selon l’équipe de chercheurs, un tel outil est indispensable pour comprendre un tant soit peu l’esprit humain. Elle a d’ailleurs relevé une série de problématiques rencontrées par les approches habituellement utilisées par le Natural Language Processing. En premier lieu, ils ont identifié la notion d’obfuscation, qui renvoie à la malléabilité de l’orthographe sur internet : on peut écrire chat ou ch4t, ou bien génial et géniaaaaaaaal; et le programme est incapable de couvrir toutes ces variations orthographiques. En second lieu, ils ont mis en avant la difficulté d’identifier toutes les insultes discriminatoires qui peuvent concernées une foultitude de minorités, y compris imaginaires. Et si vous pensiez pouvoir automatiser la détection d’insultes par leur grammaire et écriture douteuses, il n’en est rien, l’équipe de Yahoo a également mis en avant le fait que bien des messages injurieux étaient totalement respectueux des règles de grammaire et d’orthographe. En prime, le sens des insultes dépend souvent du contexte extérieur à la phrase elle-même. Par exemple dans la phrase « Chuck Hagel protégera les américains de ces animaux du désert. Laissez les plutôt s’entre-tuer, bon débarras !« , il est difficile de comprendre que les animaux du désert dont parle cet internaute renvoient probablement à quelque minorité africaine. Pour finir, les logiciels de détection d’injures sont tout bonnement incapables de comprendre le sarcasme.

yahoo

Malgré toutes ces embûches, l’approche de NLP de Yahoo Labs semble avoir payé puisqu’elle obtient un taux de précision de près de 90% en matière de signalement de contenu inapproprié. Soit 10 points de mieux que ses concurrents. La principale difficulté que devra maintenant surmonter cette équipe est celle du passage d’un ensemble de données fixe à un flux continu de données qui circulent sur les réseaux sociaux notamment.


Laisser un commentaire