Lección 5 de 5 · 3 min

Dónde se ejecuta un modelo

En línea, en un equipo o en sus servidores: lo que cambia para sus datos, sus costes y sus usos.

ObjetivoElegir un lugar de ejecución según la sensibilidad de los datos y las restricciones de la organización.

Un modelo es un archivo de parámetros y un programa que calcula con ellos. Puede ejecutarse en un centro de datos, en un ordenador potente o en los servidores de una organización. Los modelos de pesos abiertos, cuyos parámetros se publican, hacen posibles las dos últimas opciones.

Tres lugares, tres compromisos

  • En línea. Los modelos más grandes, sin hardware que gestionar. La cuestión pasa a ser el lugar de alojamiento y el derecho aplicable.
  • En un equipo. Los datos no salen del ordenador. Los modelos tienen que ser más pequeños o estar comprimidos, lo que reduce sus capacidades.
  • En sus servidores. Los datos permanecen en su infraestructura, incluso sin Internet. Hacen falta el hardware y un equipo que lo opere.

La compresión de un modelo, llamada cuantización, almacena los parámetros con menos precisión. Un modelo cuantizado ocupa mucha menos memoria, a cambio de una ligera pérdida de calidad que conviene medir con sus propios casos.

Referencias

  1. Jiang, Sablayrolles, Roux et al. (2024). Mixtral of Experts. Prepublicación en arXiv. arxiv.org/abs/2401.04088