Interview de Gill Pratt, le Mr. Robot de la DARPA

Gill Pratt est le responsable du DARPA Robotics Challenge (DRC) auprès de cet organisme d’état américain. Il a récemment accordé une interview au magazine Defense One pour aborder des sujets divers, comme les DRC, le futur des interactions humains-robots et comment arrêter une révolution de robots. Nous avons traduit cette interview et la rendons comme telle :

Defense One : Gérer une compétition de construction de robots secouristes vous a sûrement appris beaucoup sur la façon dont ces machines fonctionnent et ce qu’il se passe lorsqu’elles ne fonctionnent pas. Qu’avez-vous appris ?

Gill Pratt : Le problème n°1 dans ce genre de situations est la communication et la coordination. Les communications radios dans un environnement sinistré traditionnel sont très mauvaises. Premièrement, le réseau mobile est saturé parce que tout le monde essaye de communiquer et de se joindre les uns les autres. Deuxièmement, les infrastructures ont été abimées. Troisièmement, il peut arriver que la nature même de l’endroit où la catastrophe a eu lieu soit mauvaise pour les communications sans-fil. A Fukushima, il y avait une protection dans les réacteurs, des plaques de zinc, et des armatures pour empêcher les radiations de sortir. Cette protection empêchait également les signaux radios de sortir.

Les communications, les commandes et les contrôles sont les éléments les plus compliqués dans une situation où des centaines de personnes essayent d’aider. Dans le futur, si la catastrophe est très grave et l’environnement trop dangereux pour des êtres humains, les solutions que nous envisageront ne seront pas de chair et de sang, mais des robots. Comment les intègrer au système général de réponse même si les communications sont dégradées ? C’est la question que nous avons essayé de poser lors des DRC. C’est génial d’avoir des robots capables de réaliser le travail d’êtres humains dans des situations dangereuses, mais si les communications sont mauvaises, comment les faire travailler en équipe ?

Defense One : Y a-t-il eu un moment particulier de satisfaction ou de victoire ?

Gill Pratt : Lorsque les robots de Carnegie Mellon et de KAIST ont effectué leurs tâches à une vitesse raisonnable une fois dans le bâtiment. KAIST a publié une vidéo en accéléré de leur épreuve. Ce que l’ont voit immédiatement c’est qu’ils n’ont pas ralenti. Il est impossible de deviner que les communications sont hors-ligne la plupart du temps. Le robot entre et utilise la perceuse pour faire un trou parfait dans le mur. Tout cela est fait localement par la machine elle-même.

Comment le robot a-t-il fait ça ? D’abord, il y a l’autonomie du robot qui lui permet d’effectuer des actions simples au niveau des tâches. Si vous lui dites d’effectuer la tâche « fais un trou dans le mur », il peut accomplir la mission sans avoir besoin d’échanger avec vous. Ensuite, il y a le logiciel de simulation dans la station de contrôle des opérateurs qui montre aux humains dans la zone sécurisée ce qu’il se passe de l’autre côté. Puisque je sais que le programme du robot fonctionne et que je sais où en était la situation la dernière fois qu’on a pu communiquer, je sais où le robot se trouve. Du point de vue de l’opérateur humain, c’est comme si la liaison de communication fonctionne même si ce n’est pas le cas. Cela montre que l’on peut donner aux humains dans la zone sécurisée l’illusion qu’ils voient en direct ce qu’il se passe du côté du robot, pour que, lorsque les communications reviennent, l’humain puisse prendre une décision sur la suite des évènements sans rupture.

Defense One : Il semblerait que les robots de secours fonctionnent mieux dans des environnement contrôlés dont vous leur avez fourni une représentation topographique avant.

Gill Pratt : Il y a une courbe. Si vous êtes dans un environnement complètement non-structuré, il est difficile de savoir où sont les choses. Dans un environnement structuré, comme un laboratoire, vous savez exactement où sont les choses donc c’est très facile. En ce moment, nous sommes à un point où les robots sont bons pour faire des choses entre ces deux extrêmes. Dans les cas où nous essayons de limiter l’étendue d’une catastrophe, la configuration typique est une structure construite par les humains. Il y a des plans ou bien des humains qui ont effectué une reconnaissance avec un drone. Il y a des fragments de carte. Est-ce que cette carte est parfaite ? Non. Le robot doit s’adapter et enregistrer ses coordonnées sur la carte et en fonction de ce qu’il s’attend à trouver. Il doit s’adapter aux imperfections. Et la catastrophe elle-même peut avoir eu une conséquence sur le bâtiment, mais ce ne sont pas des données complètement non-structurées.

A Fukushima, les escaliers étaient usés par les personnes montant et descendant depuis des années. Les plans et les cartes ont aidé dans une certaine mesure, mais il faut combler les manques, grâce au feed-back du robot lui-même pour s’adapter aux imperfections. Nous avons essayé de faire la même chose : donner une idée approximative aux équipes de où se trouveraient les objets.

L'épreuve de conduite du DRC

Defense One : Avant que les équipes n’apportent leurs robots aux finales du DRC, la DARPA a organisé un évènement virtuel, une simulation pour évaluer les logiciels des équipes. Avez-vous eu peur que quelqu’un ne triche en introduisant un malware dans l’environnement du Cloud ?

Gill Pratt : Nous n’avions aucune raison de penser que les équipes trichaient, mais nous avons tout de même pris des précautions pour empêcher cela. L’outil que nous avons mis au point, utilisé dans les défis robotiques virtuels et développé par la fondation Open Source Robotics, était un moteur de simulation sur le Cloud. Cela signifie que qui que ce soit dans le monde pouvait l’utiliser. C’était très, très novateur. Chaque simulation a eu lieu en espace clos. Nous avons mis des murs en place autour des équipes pour ne jamais avoir deux équipes dans la même arène virtuelle en même temps. Si une équipe avait réussi à introduire un code, bon ou mauvais, la seule chose affectée aurait été leur score. Elles n’avaient donc aucune raison de mettre quelque chose de nuisible en place.

Cela signifie qu’elles ne pouvaient interférer avec les autres équipes. Dans une réelle situation de sinistre, ce n’est pas ce que l’on veut. L’idée est d’avoir beaucoup de personnes travaillant en coopération. Il faudrait pouvoir faire confiance à un groupe de machines et d’humains pour travailler ensemble.

La question est : Que se passe-t-il si une personne du groupe a des intentions malveillantes ? Je ne pense pas que ce soit tant une question technologique qu’une question de sécurité humaine. Je ne suis pas un expert en psychologie de catastrophes, mais je sais qu’elles peuvent attirer des personnes dont « l’aide » n’est pas désirable. Il faut faire le tri entre ceux qui sont là officiellement et les autres. Il est plus difficile de faire face à une menace interne.

Defense One : Etes-vous inquiet que les produits robotiques commerciaux du futur n’aient pas le même niveau de sécurité logicielle que les engins militaires ? Et si l’intelligence robotique du futur est basée sur le Cloud, est-ce qu’un logiciel malveillant installé sur un robot pourrait affecter une ligne de robots commerciaux entière, occasionnant des pannes ou pire ?

Gill Pratt : Je m’inquiète de ça à propos de tout système utilisé, qu’il soit civil ou militaire. Nous avons encore un problème non-résolu avec la sécurité. L’énorme avantage d’avoir des robots capables de communiquer les uns avec les autres et suffisamment intelligents pour utiliser ce qu’ils trouvent sur le Cloud c’est qu’ils peuvent partager des choses. Si un robot apprend à saisir un objet, tous le savent d’un seul coup. C’est le bon côté.

Le mauvais côté c’est que lorsqu’une machine est infectée par un malware, elles le sont toutes. Ça peut être affreux. Je sais que la DARPA a cherché un moyen de réparer cela, comment briser les effets de la monoculture logicielle afin que chaque système soit différent des autres. Cela m’inquiète beaucoup, mais les robots que nous avons développé pour les DRC ne peuvent être rendus dangereux grâce à un malware. Nous parlons de prototypes de laboratoire utilisés pour comprendre le problème des communications. Leur force physique est en réalité très basse.

Si l’on parle du moment où l’on déploie ces machines, nous avons encore quelques années devant nous. Premièrement, le prix doit baisser, l’efficacité monter, tout comme la fiabilité. Et en chemin, vous avez raison, la sécurité du réseau doit être mise en place. Pour les DRC, nous essayons simplement de voir à quel point les humains et les machines peuvent échanger les uns avec les autres, même lorsque les lignes de communication sont instables.

Defense One : Si vous n’êtes pas inquiété par des robots piratés pour devenir dangereux, quel est votre principal souci en termes de sécurité lorsqu’on parle de robots du futur ?

Gill Pratt : Comment protéger l’information recueillie par un robot, y compris quand ce n’est pas un cas de désastre, mais simplement dans la vie quotidienne ? Les robots voient des choses. J’aimerais beaucoup avoir une machine pour m’assister lorsque je vieillirai, mais je ne veux pas que les informations, que tout ce que le robot regarde, soient rendues publiques. Comment se protéger contre cela ? Je ne sais pas. Du côté militaire des choses, si les machines aident nos troupes à effectuer leurs missions, comment s’assurer que personne ne regarde ? Ce sont des questions sérieuses, mais elles ne sont pas spécifiques au domaine de la robotique. Elles sont spécifiques au domaine de l’informatique.

C’est une problématique qui continue de ressurgir et vous n’avez pas besoin d’un robot pour qu’elle devienne une question épineuse. Les gens ont cette idée que les robots sont dangereux parce qu’ils ont des jambes, donc ils peuvent peut-être venir nous attraper. Le danger ne réside pas dans les jambes. Il est dans la caméra et le microphone. Nous sommes le robot. Nous trimballons nos portables partout, même dans les pires endroits et nous croyons sur parole les personnes chargées de s’assurer que les logiciels ne contiennent pas de malware. Cela représente beaucoup de confiance. Ces systèmes m’inquiètent. Je n’ai pas peur que le robot, incontrôlable, ne fasse des dégâts physiques. La vraie valeur réside dans les données. La problématique est énorme et transcende le fait que ce soit un robot, un smartphone ou un ordinateur. Si vous résolvez le problème pour un ordinateur et un téléphone, vous le résolvez pour les robots aussi.

Le robot d'IHMC Robotics

Defense One : Vous avez souligné que ni vous ni le département de la Défense n’essayaient de construire une armée de robots terrestres armés grâce à cette compétition. Mais d’autres pays ne montrent pas la même réserve. La Russie a déployé des robots armés qui peuvent ouvrir le feu de façon autonome pour garder des silos à missiles. Si le gouvernement russe, de façon hypothétique, vous demandait des conseils sur la façon de concevoir des systèmes de robots terrestres armés autonomes, que leur diriez-vous ?

Gill Pratt : Pour quelques années encore, la décision d’ouvrir ou non le feu restera une parmi celles où les humains seront les meilleurs. Les chances d’aggraver une situation militaire par une erreur autonome d’une machine contrebalance largement les bénéfices.

Il y a des situations où vous n’avez pas le choix. Par exemple, le système Phalanx (un système anti-missile), installé sur des bateaux, qui tire sur les missiles en approche, est en service depuis des décennies et c’est un système robotique armé. Le système doit fonctionner au-delà des capacités humaines. Le rapport du département de la Défense de 2012 en parle. La clé ici est le contrôle de la qualité, s’assurer que la machine ne puisse pas commettre d’erreur. Le Phalanx analyse la taille et la vitesse de l’objet en approche et détermine si l’objet est assez petit et assez rapide pour ne contenir personne à bord, et tire.

Dans les cas où nous devons armer un système autonome, nous les avons actuellement, et je suis sûr que nous les aurons dans le futur, nous devons assurer un contrôle de la qualité excellent sur le logiciel de détection des cibles pour être sûrs que le système ne fasse jamais d’erreur.

Nous devons aussi garder à l’esprit que les êtres humains font beaucoup d’erreurs en temps de guerre, lorsqu’ils craignent pour leur vie. Il y a des raisons de penser que ces systèmes peuvent améliorer les choses. Ils le peuvent, en décidant quand ne PAS tirer.

Defense One : Plus tôt cette année, plusieurs scientifiques reconnus, dont Stephen Hawking et Elon Musk, ont signé une lettre appelant les gouvernements à bannir la recherche de systèmes armés autonomes. Quelle est votre position sur cette lettre ?

Gill Pratt : Je pense que ce n’est pas le bon moment pour prendre ce genre de décisions. Avoir cette discussion est une bonne chose. Mais dire « Non nous ne travaillerons pas là-dessus » est une erreur. Tout d’abord il faut comprendre ce qui est possible. Nous pouvons faire le choix de ne pas utiliser ce que l’on développe, c’est des choix que nous avons déjà fait, avec les armes bio-chimiques par exemple. Nous avons fait le choix de les bannir. Dans le cas d’autonomie létale nous devons apprendre beaucoup plus, et il y a beaucoup de bonnes choses que ces systèmes pourraient faire, en empêchant des erreurs létales. J’aimerais voir où nous pouvons aller avec cela. Il y a aussi beaucoup de raisons qui font qu’une interdiction actuellement est impossible. En demander une en se reposant sur une peur émotionnelle d’un objet futur distant, ce n’est pas le moment.

Defense One : Vous n’êtes clairement pas inquiété par un soulèvement des robots.

Gill Pratt : Je suis extrêmement optimiste quant aux capacités des robots à nous aider. J’aimerais avoir une machine pour m’aider à conduire ma voiture, j’aimerais avoir une machine pour porter mon sac lors de randonnées. Il y a beaucoup de façons pour ces machines d’améliorer nos vies. Ma vision est positive. J’ai récemment publié un article intitulé « Une explosion cambrienne va-t-elle avoir lieu dans le domaine de la robotique ? » dans le Journal of Economic Perspectives. L’article aborde ma vision, et non celle de la DARPA ou du département de la Défense, des choses. L’article traite de quelques-uns de ces problèmes.

L’explosion cambrienne est une période il y a 540 millions d’années durant laquelle la vie a adopté des formes très diverses sur Terre. L’une des théories principales pour expliquer cela est que, durant le Cambrien, les yeux sont apparus. Nos ancêtres post-cambriens ont pu enfin distinguer les amis et ennemis de loin. La vie prenait son envol. Je pense que nous atteignons le même point en robotique, puisque, pour la première fois, les machines peuvent voir et comprendre leur environnement. Lors des DRC nous avons pu le constater en voyant des machines effectuer certaines tâches en n’utilisant que leur propre sens de la vision. Nous avons atteint un point de bascule. Mais il est très très dur de savoir quand exactement tout va basculer. Je pense que quand cela arrivera, tout se passera très vite, car les bases seront déjà là.

Nous pensions que les réactions des gens face à des robots s’affrontant lors des DRC seraient surtout de la peur : « Oh ça ressemble à Terminator, je devrais avoir peur. » Nous avons découvert le contraire, et de façon extrême. Lorsque les robots tombaient, les gens se sont exclamés : « Oh mon dieu ! » A un moment, le robot du MIT est tombé et lors de la conférence de presse, une femme a demandé, en ayant presque des larmes dans les yeux : « Est-ce que vous pensez que le robot du MIT va s’en remettre ? » Je ne le comprends pas tout à fait, mais je pense que le lien entre les gens et les robots sera très fort.


Laisser un commentaire