Bientôt l’intelligence artificielle pourra être mieux mesurée

Nuance Communications vient d’annoncer la création d’un nouveau concours annuel pour développer des agents conversationnels ou chatbots capables de résoudre le Winograd Schema Challenge, une alternative au célèbre test de Turing.

Le Winograd Scheme pourrait même détrôner le test d’intelligence artificielle décrit pour la première fois par Alan Turing en 1950, car il serait plus précis pour mesurer le degré d’intelligence artificielle d’une machine.

Depuis que le chatbot Eugene Goostman, mis au point par une équipe de chercheurs russes, a trompé le jury en se faisant passer pour un enfant de 13 ans, le test de Turing est mis à mal.

Comme l’indique Hector Levesque, professeur d’informatique à l’Université de Toronto et créateur du test Winograd Scheme : « Les chatbots peuvent tromper certains juges qui pensent avoir à faire à un humain, mais ceci relève probablement plus de l’erreur humaine, en particulier dans le cadre d’une conversation courte, plutôt que de l’intelligence du bot. »

Hector-Levesque-père-du-test-Winograd-Scheme

Le Winograd Scheme de Levesque adopte une approche différente. Au lieu de baser le test sur de courtes conversations à thématique libre, ce nouveau test pose une série de questions à choix multiples, 40 précisément, ressemblant à ça :

Le trophée ne rentrait pas dans la valise marron parce qu’il était trop grand. Qui était trop grand ?
Réponse 1 : la valise
Réponse 2 : le trophée.

Les conseillers municipaux ont refusé de donner aux manifestants une autorisation parce qu’ils craignent la violence. Qui craint la violence ?
Réponse 1 : les conseillers municipaux
Réponse 2 : les manifestants.

Pour nous, êtres humains, les réponses semblent évidentes. Nous faisons appel à nos facultés cognitives, nos capacités de raisonnement spatio-temporel, nos connaissances des tailles et types d’objets. Mais pour des bots dépourvus de toutes ces notions et sans aucun moyen de savoir faire le lien de cause à effet entre les mots de ces phrases, ces questions sont ambigües. Il ne suffit pas que les machines se connectent à Internet pour comprendre le sens de ce QCM, il faut qu’elles aient une capacité de raisonnement par elles-mêmes.

C’est exactement ce que devront tenter de faire les machines qui participeront à ce concours. L’équipe qui parviendrait à répondre correctement à cette série de quarante questions, et donc à faire preuve d’un certain « bon sens », remportera le tournoi et 25 000 dollars. Le concours est sponsorisé par Nuance Communications, spécialiste de la reconnaissance vocale et qui a notamment signé un partenariat avec Aldebaran Robotics l’an dernier.

Des machines puissantes comme le supercalculateur Watson d’IBM, qui adopte une approche probabiliste notamment, devraient avoir du mal à réussir à passer ce nouveau test. Il sera donc intéressant de suivre quelles équipes vont prendre part à ce tournoi. Le tournoi aura lieu chaque année, et sera organisé par Commonsense Reasoning Symposium. La première édition aura lieu à l’Université de Stanford du 23 au 25 Mars 2015.


Laisser un commentaire