Vedere, sentire e parlare: i modelli multimodali

Gli assistenti del 2026 non leggono solo testo. Leggono una foto, una pagina scansionata, un grafico o uno screenshot, e molti ascoltano e parlano. Si dicono multimodali. Il principio resta quello dei token.

Un’immagine viene suddivisa in piccoli quadrati, per esempio di 16 pixel di lato. Ogni quadrato diventa un vettore, trattato come un token dal transformer. Perché questi token di immagine acquistino un senso, il modello impara su un numero molto grande di immagini associate alla loro didascalia. Nel 2021, il modello CLIP ha così avvicinato le immagini e i testi che le descrivono in uno stesso spazio di vettori, a partire da 400 milioni di coppie.

La voce segue due strade. Spesso viene prima trascritta in testo, poi trattata come una richiesta scritta. Il sistema di trascrizione Whisper, pubblicato nel 2022, è stato addestrato su 680 000 ore di registrazioni. Altri modelli trattano direttamente il suono come token, il che permette loro di cogliere il tono e di rispondere quasi senza ritardo.

• I caratteri piccoli e le tabelle dense di una pagina scansionata, dove una colonna può slittare.
• I valori letti su un grafico, che sono stime a occhio, non dati.
• Contare oggetti o situare con precisione un elemento nell’immagine.
• I dettagli inventati. Il modello può descrivere con sicurezza ciò che non è nell’immagine.