Quando l'utilizzo del deep learning e dell'elaborazione delle immagini aiuta a ripristinare e preservare le opere antiche.
Carola-Bibiane Schönlieb, austriaca, matematica e Professore di Analisi Applicata e Computazionale presso il Dipartimento di Matematica Applicata e Fisica Teorica dell'Università di Cambridge, quando iniziò il suo dottorato di ricerca in Studi di matematica 2005 uno dei suoi primi progetti fu quello di collaborare al restauro di un affresco medievale localizzato a Vienna.
I resti del dipinto erano contrassegnati da vistose lacune, un danno causato dalla rimozione della muratura che fino a qualche anno prima aveva occultato il dipinto. Tuttavia, invece di resina, solventi e vernice, i suoi strumenti di restauro sono stati degli algoritmi. Dopo aver scattato fotografie all’affresco danneggiato, infatti, ricercò algoritmi per ripristinare i pezzi mancanti e danneggiati del dipinto, creando un ‘mockup’ digitale che mostrasse l’aspetto originale dell’affresco. Schönlieb, al momento, utilizza l'analisi e l'elaborazione di immagini per il restauro e la conservazione delle opere d’arte e fa parte con altri matematici ed esperti di scienze umanistiche dell’iniziativa MACH. L'iniziativa combina l'esperienza di storici dell'arte, conservatori, archeologi e medievisti con quella di matematici per far progredire gli studi sul restauro e sulla cultura materiale. Nel loro progetto attuale, "Unveiling the Invisible", il team MACH utilizza algoritmi MATLAB ® per catalogare la ceramica romana, analizzare le sezioni trasversali della pittura, consentire agli studiosi di vedere nuove relazioni tra i manufatti e perfino ripristinare digitalmente manoscritti miniati troppo delicati per il restauro.
Re-illuminare i manoscritti
La collaborazione con MACH è iniziata nel 2013, quando Schönlieb tenne una conferenza sul restauro dell'immagine digitale all'università. Alla conferenza era presente il personale del Fitzwilliam Museum di Cambridge, in particolare Suzanne Reynolds curatrice del Dipartimento dei manoscritti e dei libri stampati del Fitzwilliam Museum, che allora stava sperimentando approcci non invasivi per il restauro dei manoscritti. Quando ascoltò il discorso di Schönlieb sull’anastilosi dell'immagine, ne fu colpita, suggerendole di lavorare insieme: un sodalizio che portò alla nascita del progetto MACH.
Ogni volta che i conservatori si confrontano con dipinti e manufatti danneggiati, affrontano un problema di metodo: ripristinare un’opera allo stato originale nella percezione, lasciando la visibilità’ del danno subito fruibile come parte della storia dell’opera.
I manoscritti miniati del Medioevo, scritti a mano, anche su pergamena e con miniature che spesso includono metalli preziosi come l'oro o l'argento, potrebbero presentare inchiostrature intenzionalmente rimosse o aggiunte per eliminare segnature di proprietà o per coprire un'immagine offensiva. L'uso di metodi virtuali e matematici consente di mantenere il manoscritto miniato senza interventi, fornendo una riproduzione fedele del suo antico aspetto. " Cosa guadagniamo e cosa perdiamo ripristinando? " si chiede Suzanne Reynolds, curatrice del Fitzwilliam Museum.
I manoscritti miniati sono estremamente degradabili, tanto che raramente vengono restaurati fisicamente. Reynolds, Schönlieb e Simone Parisotto, ricercatore associato presso il Dipartimento di Matematica Applicata e Fisica Teorica di Cambridge, e il Fitzwilliam Museum stanno sviluppando un'App per affrontare queste problematiche, all’interno del progetto "Unveiling the Invisible". L’ App, progettata per i restauratori e sviluppata utilizzando MATLAB, sfrutta tecniche di elaborazione delle immagini per identificare le lacune e la loro consistenza e ricostruire virtualmente le immagini nello status originario dei manoscritti. Si basa sull'’Inpainting’, un termine che originariamente si riferiva alla ricostruzione fisica di un dipinto e nei circoli matematici ha ora assunto il significato di ripristino digitale delle immagini. Utilizzando l'apprendimento profondo automatico dell’intelligenza artificiale e le equazioni differenziali alle derivate parziali, il programma del gruppo MACH può riempire le lacune di colore di un manoscritto danneggiato e procedere alla mappatura dei diversi livelli di recupero ottenibili fino alla sua completa anastilosi. Un utente addestra l'algoritmo con campioni tratti dallo stesso manoscritto o da manoscritti concomitanti e correlati per ambito di produzione e l'algoritmo restituisce la funzione colorimetrica delle zone alterate. L'utilizzo di metodi virtuali e matematici consente di mantenere l'oggetto così com'è con la sua storia materiale, impedendone il rischio di danni ulteriori. Oltre al restauro, i metodi matematici possono non solo digitalizzare gli archivi, ma anche sfruttare l'intelligenza artificiale per rendere i dati archivistici ancora più utili a conservatori, storici dell'arte e archeologi.
Raggruppamento di ceramiche romane
L'idea per il secondo focus di “Unveiling the Invisible” è nata nel 2015, quando Alessandro Launaro, docente senior di Studi classici a Cambridge, riscontrò la seguente problematica. La maggior parte delle ceramiche di epoca romana scavate da siti archeologici fa parte del vasellame di uso comune. Sebbene esistano cataloghi sistematici e completi che aiutano gli archeologi a classificare le più raffinate ceramiche romane (oggetti di pregio), poco si inventaria fra le ceramiche di uso quotidiano. Carola-Bibiane Schönlieb afferma: “Qualcuno potrebbe semplicemente elencare tutte queste forme desumibili da un frammento di ceramica, ma è super noioso. E poiché siamo umani, commettiamo errori, a volte siamo stanchi e potremmo perdere qualcosa. Un algoritmo non si stancherà." Schönlieb e Parisotto hanno affrontato questo problema rivolgendosi a MATLAB. Nel 2016 hanno sperimentato un sistema che abbina un disegno di un pezzo di ceramica di profilo a un'immagine simile in un database, ma tale sistema non ha funzionato. Per compilare e organizzare il proprio database di ceramiche, il team ha aggiunto migliaia di immagini, profili in bianco e nero di pezzi di oggetti comuni. Parisotto utilizza algoritmi di apprendimento profondo in automatico senza supervisione per raggruppare le forme di ceramica correlate. Il programma crea dendrogrammi gerarchici raggruppando i frammenti di ceramica per mostrare meglio agli archeologi le relazioni tra i diversi tipi. "L'idea è di estrarre le caratteristiche rilevanti dagli oggetti disponibili e di trovare le relazioni che uniscono caratteristiche diverse”. Determinando le relazioni tra i tipi di ‘commonware’, gli archeologi potrebbero mappare le geometrie del loro sviluppo e distribuzione nello spazio e nel tempo. Queste relazioni possono quindi offrire indizi evolutivi del commercio, tipologie di insediamento o abitudini alimentari. Il gruppo MACH sta ancora sviluppando e testando l'app, ma "l'idea alla fine è quella di creare uno strumento che consenta agli archeologi di interpretare più efficacemente i siti che scavano e studiano" afferma Launaro.
Lezioni d'arte dai microcarotaggi
Kasia Targonska-Hadzibabic, ricercatrice associata al team MACH e fisica di formazione, sta lavorando a un sottoprogetto "Unveiling the Invisible" che si basa su principi simili al database della ceramica romana. Ma invece della ceramica Targonska-Hadzibabic sta lavorando con Parisotto a costruire una piattaforma per immagini digitali di microcarotaggi di pittura che ne abiliti la conservazione e la comparazione. Nel campo della conservazione di opere d’arte, studiare le sezioni di frammenti di pittura prelevate da un dipinto può rivelare il processo creativo dell’artista: “...ci da’ informazioni sulle tecniche usate dal pittore, come il dipinto veniva realizzato” dice Kasia Targonska- Hadzibabic. Un MACH team può anche sviluppare un sistema di archiviazione che potrebbe stabilire connessioni e identificare la micro-documentazione di differenti pitture, artisti, o periodi figurativi con possibili assimilazioni significative. Tradizionalmente i conservatori prelevano questi microcarotaggi resinandoli con fissativo di protezione e ne esaminano le differenti stesure di pittura al microscopio. Molto ingrandito, il frammento pittorico sembra un colorato sandwich a strati. Il collega di Targonska-Hadzibabic, esperto in conservazione, ha scansionato nel suo archivio digitale i microcarotaggi e cercato di vedere qualcosa di più che una tecnica soggettiva solamente peculiare che tali frammenti potrebbero rivelare. Targonska, insieme con Schönlieb, ha sviluppato un sistema che potrebbe catalogare le innumerevoli risultanze di microcarotaggi da differenti dipinti, artisti e periodi storici. Le stesure delle loro sezioni infatti non sono uniformi e variano non soltanto nel pigmento, ma nella preparazione, mestica e consistenza nelle condizioni di essiccatura. In analogia con il progetto della ceramica romana, il team ha applicato una tecnologia di intelligenza artificiale al MATLAB per raggruppare più di 10.000 immagini di sezioni digitali. Secondo Targonska, non è certo che cosa possa scaturire dalla restituzione con questi algoritmi, ma: “E’ processando i rilievi che concretamente si realizza la comunicazione con i conservatori per stabilirvi associazioni importanti in una prospettiva storico-artistica” dice. Mediante l’applicazione sviluppata sui risultati ha avanzato la possibilità’ per i conservatori di comparare le stratificazioni dei più’ minuti dettagli con analoghe scansioni archiviate nel database. Non soltanto gli sviluppatori vi accederanno, ma gli stessi conservatori potranno anche facilmente modificarli secondo le proprie schedature.
Sul campo
Il parere degli esperti di archeologia, conservazione dell'arte e degli storici dell'arte è stato fondamentale per questi progetti. "Solo gli esperti possono guidare gli addetti alla disamina dei dati nel percorso corretto da seguire" afferma Parisotto. I collaboratori di MACH al Fitzwilliam stanno appena iniziando a testare queste app, ma l'obiettivo è pubblicare la risorsa per tutti gli studiosi e i conservatori, ampliando gli strumenti esistenti. Per Launaro, il catalogo di riferimento delle ceramiche di uso comune, consentirà uno studio più dettagliato della cultura materiale più’ trascurata dall'archeologia, nonostante la sua consistenza. Secondo Reynolds, lo strumento di restauro dei manoscritti digitali di MACH non solo potrebbe aiutare i conservatori, ma potrebbe anche espandere le opzioni per l'insegnamento e l'impegno pubblico. "C'è la speranza che sia molto utile per l'insegnamento, perché consentirà di lavorare al meglio sulle restituzioni degli oggetti", afferma Reynolds. Lo strumento potrebbe anche espandere le offerte virtuali dei musei, mostrando ai membri del pubblico sia il manufatto reale che l'"originale" digitale. Nessuno di questi strumenti, tuttavia, sostituirà il lavoro dei professionisti delle discipline umanistiche. "C'è un livello di interpretazione in cui è necessario un essere umano", dice Launaro. "Ma ci sono altre cose che renderebbero il nostro lavoro molto più semplice e diretto e che una macchina può realizzare".
Fonte: mathworks