L'AI che racconta le immagini in italiano

CLIPITALIAN, RECENTEMENTE SVILUPPATO DA UN TEAM CHE COMPRENDE FEDERICO BIANCHI, E' IL PRIMO E UNICO MODELLO DI AI PER ASSOCIARE LE IMMAGINI E LE LORO DESCRIZIONI IN ITALIANO SU LARGA SCALA

La ricerca di immagini attraverso parole chiave è familiare a tutti. Questa funzione è resa possibile grazie a modelli che, applicando il machine learning, sono in grado di classificare elementi. CLIP-Italian è il primo e l’unico modello di Intelligenza Artificiale in lingua italiana di grande scala per classificare immagini, sviluppato recentemente da Federico Bianchi, ricercatore del Data and Marketing Insights (DMI) della Bocconi, Giuseppe Attanasio (Politecnico di Torino), Raphael Pisoni (ricercatore indipendente), Silvia Terragni (Università degli Studi di Milano-Bicocca), Gabriele Sarti (Università di Groningen) e Sri Lakshmi (ricercatrice indipendente).
 
Il modello CLIP-Italian associa le immagini e le loro descrizioni, permettendo di svolgere un insieme di task come ricerca di immagini e classificazione in italiano. Questo tipo di modello viene generalmente addestrato su un dataset di elementi (detto training set). CLIP-Italian basato su CLIP, uno dei modelli di machine learning attualmente più avanzati rilasciato dall’azienda OpenAI, è in grado di eseguire classificazioni “zero-shot”, cioè classificare correttamente anche oggetti e concetti in immagini non viste durante la fase di training.
 
Il lavoro di addestramento di CLIP-Italian si è basato su un dataset di circa 1,4 milioni di immagini, ciascuna delle quali associata a una descrizione in italiano. La preparazione del dataset ha coinvolto anche una traduzione automatica per utilizzare dataset preesistenti in altre lingue, oltre a usare dati originali.
 
I modelli di larga scala sono difficili e costosi da addestrare. Il progetto CLIP-Italian è stato possibile partecipando alla competizione internazionale Flax/JAX Community Week, per la quale Google e HuggingFace hanno messo a disposizione potenza di calcolo e fondi. CLIP-Italian è arrivato tra i finalisti della competizione. Inoltre, nella seconda fase è riuscito a ricevere una menzione speciale, che permetterà l’accesso ad ulteriori risorse per lo sviluppo del progetto.
 
Il codice utilizzato dal progetto per allenare il modello è pubblicamente accessibile su GitHub. Inoltre, è possibile provare sia la classificazione che la ricerca delle immagini sulla demo ufficiale, disponibile su HuggingFace.

di Weiwei Chen