Où tourne un modèle

Un modèle est un fichier de paramètres et un programme qui calcule avec. Il peut tourner dans un centre de données, sur un ordinateur puissant ou sur les serveurs d’une organisation. Les modèles à poids ouverts, dont les paramètres sont publiés, rendent possibles les deux dernières options.

Trois lieux, trois compromis

• En ligne. Les plus grands modèles, sans matériel à gérer. La question devient celle du lieu d’hébergement et du droit applicable.
• Sur un poste. Les données ne quittent pas l’ordinateur. Les modèles doivent être plus petits ou compressés, ce qui réduit leurs capacités.
• Sur vos serveurs. Les données restent dans votre infrastructure, y compris sans Internet. Il faut le matériel et une équipe pour l’exploiter.

La compression d’un modèle, appelée quantification, stocke les paramètres avec moins de précision. Un modèle quantifié prend beaucoup moins de mémoire, au prix d’une légère perte de qualité qu’il faut mesurer sur vos propres cas.