RealFill : complétion d’image à l’aide de modèles de diffusion

• Une nouvelle approche générative pour la complétion d’image, développée par Google Research et l’université Cornell
• RealFill vise à créer des images plus réalistes en remplissant les parties manquantes d’une image avec le contenu qui devrait s’y trouver à l’origine
• Le modèle est personnalisé à l’aide de quelques images de référence, qui n’ont pas besoin de correspondre exactement à l’image cible et peuvent varier en point de vue, conditions d’éclairage, ouverture de l’appareil photo ou style d’image
• RealFill surpasse nettement les approches existantes sur un nouveau benchmark de complétion d’image couvrant des scénarios variés et difficiles
• Le processus consiste à affiner un modèle de diffusion d’inpainting préentraîné sur les images de référence et l’image cible, afin qu’il apprenne le contenu, l’éclairage et le style de la scène de l’image d’entrée
• Le modèle affiné est ensuite utilisé pour remplir les zones manquantes de l’image cible via un processus standard d’échantillonnage par diffusion
• RealFill génère des images de haute qualité, fidèles à la scène d’origine et visuellement attrayantes, même lorsque les différences entre la référence et la cible sont importantes
• Les limites de RealFill incluent un processus d’affinage basé sur les gradients relativement lent, ainsi que des difficultés à reconstruire une scène 3D lorsque le changement de point de vue entre les images de référence et cible est très important
• RealFill rencontre aussi des difficultés sur des cas complexes pour des modèles de base préentraînés comme Stable Diffusion

[GN⁺]

Avis Hacker News

• Article sur « RealFill », un outil de complétion d’image utilisant des modèles de diffusion
• Un outil qui pourrait avoir une valeur potentielle pour améliorer des photos prises aujourd’hui comme par le passé
• RealFill peut améliorer des images en fusionnant des photos similaires en une seule image de meilleure qualité
• Un outil capable de générer des images artificielles pour des publications sur les réseaux sociaux, afin d’en accroître l’attrait et le côté ludique
• RealFill peut être un outil de post-production utile pour le cinéma et la télévision, offrant une flexibilité pour le « uncropping » et la conversion du 4:3 en format large
• Un outil pouvant être utilisé pour corriger les problèmes de caméras sténopé bon marché dans des réseaux de caméras holographiques
• RealFill peut être utilisé pour réparer une photo de famille accidentellement recadrée
• Une fonction de zoom arrière numérique basée sur l’IA, permettant de créer des photos élargies indépendamment de l’objectif ou de la distance
• Des inquiétudes sur l’utilisation des termes « réel » et « restauration » dans la démo, l’image résultante n’étant ni réelle ni restaurée mais une hallucination
• Un outil qui pourrait rendre les téléphones Pixel plus attractifs, avec des fonctions comme la gomme magique et la « véritable complétion d’image »
• Les progrès de l’IA de ces dernières années sont impressionnants, et des outils comme RealFill représentent une étape importante
• Certains commentateurs ont exprimé des inquiétudes sur les implications de l’usage de l’IA pour créer une illusion de réalisme
• Les capacités de l’outil sont comparées à la suppression de la perche à selfie par les caméras GoPro, en utilisant des images adjacentes pour remplir les pixels