Dentro un modello linguistico
Token, vettori, attenzione e addestramento: cosa succede davvero tra la vostra domanda e la risposta.
8 lezioni · 1 quiz · 45 min · badge di fine corso
- Spiegare come un testo diventa una sequenza di token, poi di vettori.
- Descrivere il ruolo dell’attenzione in un transformer, con un esempio.
- Distinguere pre-addestramento, fine-tuning su istruzioni e allineamento.
- Collegare questi meccanismi agli errori che osservate ogni giorno.
- Leggere un articolo di riferimento del settore senza perdervi nel vocabolario.
- Per chi
- Referenti IA, formatori, profili tecnici e chiunque voglia capire il funzionamento interno dei modelli.
- Prerequisiti
- Il corso «Cosa sa fare l’IA, e i suoi limiti», o una prima pratica con gli assistenti.
- Durata
- 45 min
- Livello
- Avanzato
Il contenuto del corso.
- 01Dal testo ai numeri3 lezioni
- I token, unità di base del modello7 min
Perché un modello non legge né lettere né parole, ma token, e cosa cambia per voi.
- Le parole diventano vettori7 min
Come ogni token diventa una lista di numeri che ne codifica il significato, e perché la geometria sostituisce il dizionario.
- Il significato come vicinanza: la ricerca semantica3 min
I vettori servono anche a ritrovare un documento in base al significato, senza condividere una sola parola con la domanda.
- I token, unità di base del modello7 min
- 02Il transformer3 lezioni
- L’attenzione, ovvero leggere tutto il testo in una volta3 min
Il meccanismo che permette a ogni parola di tenere conto di tutte le altre, al centro di tutti i grandi modelli attuali.
- Strati sovrapposti e miliardi di parametri6 min
Cosa sono i parametri di un modello, e perché il loro numero ha contato così tanto.
- Scegliere la parola successiva: probabilità e temperatura3 min
Il modello non produce una parola, produce una probabilità per ogni parola possibile. La scelta finale dipende da un’impostazione.
- L’attenzione, ovvero leggere tutto il testo in una volta3 min
- 03Addestrare un modello2 lezioni
- Il pre-addestramento e le leggi di scala3 min
Come un modello impara prevedendo la parola successiva su migliaia di miliardi di token, e cosa hanno rivelato le leggi di scala.
- Seguire istruzioni: fine-tuning e allineamento3 min
Perché un modello di base completa il testo invece di rispondere, e come gli si insegna a essere utile e prudente.
- Il pre-addestramento e le leggi di scala3 min
- ✓Quiz finale8 domande