La stella che fa funzionare meglio gli algoritmi
UN NUOVO ARTICOLO AFFRONTA IL TEMA DELLA FORMA DELLO SPAZIO DELLE SOLUZIONI, UN BALZO IN AVANTI NELLA COMPRENSIONE DI COME SI POSSONO PROGETTARE ALGORITMI VELOCI E ACCURATIProgettare e addestrare reti neurali ottimali è un compito molto complesso. Un importante contributo per renderle più efficienti viene da un nuovo articolo di Brandon Livio Annesi, Carlo Lucibello, Enrico Malatesta, Gabriele Perugini e Luca Saglietti del Department of Computing Sciences Bocconi insieme a Clarissa Lauditi del Politecnico di Torino e Fabrizio Pittorino del Politecnico di Milano e del Bocconi Institute for Data Science and Analytics.
Le reti neurali sono chiamate “neurali” perché sono simili alle reti di neuroni del cervello. Possono prendere decisioni senza essere espressamente programmate per farlo, dopo aver subito un processo di “addestramento” durante il quale esse regolano i propri parametri. I parametri di una rete, a loro volta, possono essere milioni o addirittura miliardi. La qualità di una rete, in linea di massima, dipende dalla velocità con cui gli algoritmi eseguono i loro compiti e da quanto costantemente sono corretti.
Lo spazio delle soluzioni è l'insieme di tutte le diverse combinazioni di valori che i parametri di una rete neurale possono assumere. Poiché si tratta di numeri molto elevati, anche per reti relativamente piccole, ai ricercatori interessa capire le proprietà degli spazi delle soluzioni delle reti neurali e come queste proprietà possano essere sfruttate per migliorare il processo di addestramento. Un possibile approccio consiste nell'utilizzare le tecniche della fisica statistica per studiare la dinamica dell'algoritmo di ottimizzazione mentre esplora lo spazio delle soluzioni.
Gli autori hanno quindi ideato un modello relativamente semplice di rete neurale proprio per capire che “forma” ha il suo spazio delle soluzioni e quali implicazioni può avere questa scoperta per la progettazione di algoritmi ottimali e per un addestramento più efficiente: un “buon” algoritmo, veloce ed efficiente dal punto di vista delle risorse impiegate, sarà in grado di trovare soluzioni che possono essere collegate da semplici percorsi rettilinei, cioè che giacciono interamente all'interno dello spazio delle soluzioni.
Malatesta e i suoi colleghi hanno scoperto che lo spazio delle soluzioni per questo tipo di rete ha la forma di una stella, con un nucleo interno e una serie di regioni esterne che terminano con un vertice. Le soluzioni che si trovano all'interno o in prossimità del nucleo centrale saranno connesse con quasi tutte le altre soluzioni, mentre più una soluzione si avvicina a un vertice, più frequentemente si troverà di fronte a barriere, poiché i percorsi rettilinei verso le altre soluzioni tendono a cadere al di fuori dello spazio delle soluzioni a forma di stella. Si tratta di uno sviluppo inedito e potenzialmente molto importante, in quanto fornisce importanti indicazioni ai progettisti di algoritmi per ottenere connessioni ad alta efficienza.
“Non ci aspettavamo questo risultato, perché finora nessuno aveva un'idea chiara di come fossero configurati gli spazi delle soluzioni,” dice Enrico Malatesta. “La sfida ora è studiare in quali condizioni (oltre a un numero minimo di parametri) il modello a stella è valido e se le sue proprietà sono universali. C'è ancora molto lavoro da fare.”
Brandon Livio Annesi, Clarissa Lauditi, Carlo Lucibello, Enrico M. Malatesta, Gabriele Perugini, Fabrizio Pittorino, Luca Saglietti, “Star-Shaped Space of Solutions of the Spherical Negative Perceptron”, Physical Review Letters, 1 dicembre 2023, DOI https://doi.org/10.1103/PhysRevLett.131.227301
di Andrea Costa
