Dónde se ejecuta un modelo
En línea, en un equipo o en sus servidores: lo que cambia para sus datos, sus costes y sus usos.
ObjetivoElegir un lugar de ejecución según la sensibilidad de los datos y las restricciones de la organización.
Un modelo es un archivo de parámetros y un programa que calcula con ellos. Puede ejecutarse en un centro de datos, en un ordenador potente o en los servidores de una organización. Los modelos de pesos abiertos, cuyos parámetros se publican, hacen posibles las dos últimas opciones.
Tres lugares, tres compromisos
- En línea. Los modelos más grandes, sin hardware que gestionar. La cuestión pasa a ser el lugar de alojamiento y el derecho aplicable.
- En un equipo. Los datos no salen del ordenador. Los modelos tienen que ser más pequeños o estar comprimidos, lo que reduce sus capacidades.
- En sus servidores. Los datos permanecen en su infraestructura, incluso sin Internet. Hacen falta el hardware y un equipo que lo opere.
La compresión de un modelo, llamada cuantización, almacena los parámetros con menos precisión. Un modelo cuantizado ocupa mucha menos memoria, a cambio de una ligera pérdida de calidad que conviene medir con sus propios casos.
Referencias
- Jiang, Sablayrolles, Roux et al. (2024). Mixtral of Experts. Prepublicación en arXiv. arxiv.org/abs/2401.04088