Les ordinateurs apprennent à « dépixeliser » les photographies grâce au deep learning

Les ordinateurs apprennent à « dépixeliser » les photographies grâce au deep learning
Les algorithmes de vision artificielle peuvent aussi aider à "dépixeliser" d'anciennes photos de vacances. M. SAJJADI ET AL.

Des chercheurs de l’Institut Max Planck (Allemagne) ont mis au point un algorithme de deep learning capable de « dépixeliser » des images de faible résolution.

PIXEL. Grâce à l’accroissement de la puissance de calcul des processeurs, les algorithmes de traitement d’images enchaînent les prouesses : au-delà du simple lifting numérique, il est par exemple désormais possible de plaquer en un clic un sourire bright sur une photo de visage. Mais certaines opérations, en apparence beaucoup plus simples, résistent encore aux miracles du numérique. La « dépixelisation » en fait partie. Le défi : accroître la résolution d’une image en laissant un programme tenter de deviner la couleur des pixels manquants, mécanisme d’interpolation qui jusqu’à présent n’aboutissait qu’à des images floues dans la plupart des cas. Mais c’était avant la percée réalisée par des chercheurs du Max Planck Institute (MPI), récemment présentée à l’occasion d’un symposium sur la vision artificielle, disponible en pré-publication. Ces derniers ont recours au deep learning, pour des résultats qui, même s’ils ne sont pas parfaits, restent bluffants.

Image d’oiseau agrandie par simple interpolation linéaire à gauche, et par la méthode développée par le MPI au milieu. A droite, la même image photographiée directement avec la résolution souhaitée.

Des algorithmes actuels mal optimisés

De nombreuses propositions techniques avaient déjà vu le jour ces dernières années afin de construire des images haute résolution à partir d’images de plus faible résolution. Le principe ? Ajouter de nouveaux pixels dans le tableau bidimensionnel que constitue l’image, puis déduire leur couleur grâce à des calculs statistiques portant sur les pixels limitrophes. Leur efficacité est mesurée par un indicateur de distorsion appelé rapport signal de crête/bruit (peak signal-to-noise ratio ou PSNR). Le problème, c’est que « cet indicateur est mal corrélé à la perception humaine de la qualité visuelle », rappellent les chercheurs. Or, c’était bien cet indicateur que les algorithmes de traitement d’image entendaient jusqu’alors améliorer, au point de produire des images manquant singulièrement de contraste pour l’oeil humain, apparaissant globalement floues.

Apprendre à deviner l’invisible grâce aux réseaux neuronaux

L’équipe de l’institut allemand a ainsi opté pour une autre approche : le deep learning (apprentissage machine profond). « L’algorithme apprend à échantillonner à partir d’images disponibles en faible et haute résolution. À la fin du processus, on peut ainsi lui montrer l’image cible en haute résolution, de sorte qu’il apprend au fur et à mesure de ses erreurs », explique Mehdi Sajjadi, co-auteur de la publication. Le réseau neuronal, appelé EnhancedNet-PAT, peut ainsi être optimisé pour un type d’images grâce à une base d’apprentissage donnée, avant d’ensuite se passer de photos originales et de savoir dépixeliser seul des images similaires !

TEXTURE. Contrairement au traitement d’image classique, EnhancedNet-PAT s’intéresse à la reproduction des textures plus qu’à la finesse du rendu au pixel près. Autrement dit, les réseaux neuronaux convolutifs permettent à l’algorithme de mémoriser les motifs géométriques de l’image, et de s’en inspirer ensuite pour la reconstitution des pixels manquants… De quoi donner une seconde vie aux anciennes photos numériques, saisies à une époque où les téléphones portables n’étaient pas encore dotés de capteurs d’une taille de plusieurs méga-pixels… Et pour les bidouilleurs de l’extrême qui souhaiteraient jouer avec le modèle des chercheurs, il est possible de le télécharger ici !

Science & Vie
Par Sarah Sermondadaz le 06.11.2017 à 19h30

1 comment

Voir aussi

Laisser un commentaire

Votre adresse électronique ne sera pas publiée. Les champs Exigés sont marqués avec *

Cancel reply

1 Comment

  • bruine
    10 novembre 2017, 19 h 17 min

    Témoignage tres important et merveilleux

    Gloire à DIEU ,Alleluia

    Les vrais êtres humains sont ceux là qui savent venir en secours à leurs semblables quand ils souffrent .
    Aujourd’hui, je suis responsable de mon propre entreprise grâce à Mme MERCIER jessica grand merci à vous pour le prêt de 34.000€ avec un pourcentage de 2%

    je prend l’engagement devant DIEU et devant les Hommes que je vous rembourserai la totalité du prêt DIEU vous le Rendra au centuple.
    Alors je prie toutes personnes dans le besoins de la contacter à l’adresse
    Email :

    jessicamercier81@gmail.com
    jessicamercier81@gmail.com

    Paix du christ à vous

    REPLY