Dove gira un modello
Online, su una postazione o sui vostri server: cosa cambia per i vostri dati, i vostri costi e i vostri usi.
ObiettivoScegliere un luogo di esecuzione in base alla sensibilità dei dati e ai vincoli dell’organizzazione.
Un modello è un file di parametri più un programma che calcola con essi. Può girare in un data center, su un computer potente o sui server di un’organizzazione. I modelli a pesi aperti, i cui parametri sono pubblicati, rendono possibili le ultime due opzioni.
Tre luoghi, tre compromessi
- Online. I modelli più grandi, senza hardware da gestire. La questione diventa quella del luogo di hosting e del diritto applicabile.
- Su una postazione. I dati non lasciano il computer. I modelli devono essere più piccoli o compressi, il che ne riduce le capacità.
- Sui vostri server. I dati restano nella vostra infrastruttura, anche senza Internet. Servono l’hardware e un team per gestirla.
La compressione di un modello, chiamata quantizzazione, memorizza i parametri con meno precisione. Un modello quantizzato occupa molta meno memoria, al prezzo di una leggera perdita di qualità da misurare sui vostri casi.
Riferimenti
- Jiang, Sablayrolles, Roux et al. (2024). Mixtral of Experts. Preprint arXiv. arxiv.org/abs/2401.04088