Des japonais redonnent vie à vos vielles photos grâce au machine learning

Des chercheurs de l’Université de Waseda au Japon ont publié les résultats de leurs travaux de recolorisation de photographies remontant au siècle dernier. Une résurrection réalisée en croisant plusieurs techniques de deep learning.

L’apprentissage automatique, également appelé machine learning, est un champ de la recherche informatique particulièrement prisé ces dernières années. Il réunit plusieurs domaines de la recherche qui explorent différentes approches de l’apprentissage artificiel. Certains étudient les réseaux de neurones et l’apprentissage statistique quand d’autres cherchent à doter les machines de capacités d’apprentissage par le toucher, comme le robot de Carnergie Mellon, ou par la vue, comme le robot WatchBot et toutes les recherches qui s’inscrivent dans ce qu’on appelle le computer vision. C’est dans cette dernière, la catégorie du computer vision que s’inscrivent les travaux des trois chercheurs de l’Université de Waseda, Satoshi Lizuka, Hiroshi Ishikawa et Edgar Simo-Serra.

« Nous présentons une nouvelle technique de recolorisation automatique de photos en noir et blanc« . C’est ainsi que s’ouvre l’article de recherche des trois scientifiques. Pour réaliser cette prouesse, les trois chercheurs ont fait appel à la désormais « célèbre » technique des réseaux de neurones convolutifs, très courante dans les travaux de deep learning, et utilisée notamment par Facebook pour concevoir son nouvel algorithme de lecture de texte, Deep Text.

colorisation-photo-machine-learning-waseda-3

colorisation-photo-machine-learning-waseda-4

Leur technique en associe en réalité deux. La première consiste à analyser les images de façon très localisée, quand la seconde assimile les informations de l’image dans son ensemble. Cette combinaison permet de trouver le bon équilibre pour reconstituer des photographies de manière très précise en confrontant des informations très locales, au pixel près, au contexte de l’image globale. Une technique qui permet de recoloriser efficacement différentes zones d’une photographie sans que ses notes ne soient en dissonance avec le reste de l’image. Pour les amateurs de retouche numérique, il s’agit en quelque sorte de l’outil de remplissage intelligent de Photoshop, mais en beaucoup, beaucoup plus efficace ! De cette manière, le système global est entraîné à recoloriser des images de bout en bout « à l’inverse des techniques usuelles basées sur des CNN » (Convolutional Neural Networks) qui ont tout de même permis de révolutionner le champ de la vision artificielle (computer vision). Les progrès dans le domaine ont été remarquables ces dernières années, et le concours ImageNet Challenge récompense chaque année les meilleures technologies de détection et de classification d’objets et d’images.

Dans un premier temps, les scientifiques ont entraîné leur système à classifier des images et scénographies, en faisant appel à une large banque d’images en ligne et en utilisant des étiquettes sémantiques pré-définies. Cela a permis d’accélérer la partie « pré-programmée » du dispositif. Jusque là rien de nouveau. Mais c’est en combinant ce savoir accumulé à une technique d’analyse plus fine et ponctuelle qu’ils sont parvenus à ce résultat bluffant. A la différence des techniques dites « traditionnelles » de colorisation, qui nécessitent un degré important d’interaction entre l’utilisateur et le support travaillé. Ici, les scientifiques proposent au contraire une technique totalement autonome basée sur le traitement automatique de données.

Très simplement, le logiciel étudie une photographie avec les deux méthodes précédemment citées. En analysant la photo dans son ensemble, il peut en déduire si elle a été prise de jour ou de nuit, à l’intérieur ou à l’extérieur… Puis il constitue une reproduction de l’image point par point et la recoupe enfin avec l’image globale. Cette technique permet également une plus grande flexibilité de recolorisation. Car en combinant ces deux méthodes, le logiciel peut recréer une nouvelle image. Par exemple s’il analyse une image d’extérieur nuit de façon globale, et qu’il la combine avec une photo de plage ensoleillée analysée au point par point, l’image finale consistera en une plage de nuit.

colorisation-photo-machine-learning-waseda-2

Les limites d’une telle méthode ? Le fait qu’elle repose sur des données pré-établies et ne pourra donc coloriser que des images qui partagent des propriétés semblables à celles qui ont servi à entraîner le logiciel. Mais si le logiciel peut absorber des millions d’images chaque jour, il n’en demeure pas moins qu’il restera bloqué devant une image complètement nouvelle.

Retrouvez tous les résultats de recolorisation photograĥiques ici.


Laisser un commentaire