Wo ein Modell läuft
Online, auf einem Arbeitsplatzrechner oder auf Ihren Servern: was sich für Ihre Daten, Ihre Kosten und Ihre Nutzung ändert.
ZielEinen Ausführungsort nach der Sensibilität der Daten und den Vorgaben der Organisation wählen.
Ein Modell besteht aus einer Datei mit Parametern und einem Programm, das damit rechnet. Es kann in einem Rechenzentrum laufen, auf einem leistungsstarken Computer oder auf den Servern einer Organisation. Modelle mit offenen Gewichten (Open Weights), deren Parameter veröffentlicht sind, machen die beiden letzten Optionen möglich.
Drei Orte, drei Kompromisse
- Online. Die grössten Modelle, ohne eigene Hardware zu verwalten. Entscheidend wird die Frage nach dem Hosting-Standort und dem anwendbaren Recht.
- Auf einem Arbeitsplatzrechner. Die Daten verlassen den Computer nicht. Die Modelle müssen kleiner oder komprimiert sein, was ihre Leistungsfähigkeit verringert.
- Auf Ihren Servern. Die Daten bleiben in Ihrer Infrastruktur, auch ohne Internet. Dafür braucht es die Hardware und ein Team für den Betrieb.
Die Komprimierung eines Modells, Quantisierung genannt, speichert die Parameter mit geringerer Genauigkeit. Ein quantisiertes Modell braucht viel weniger Speicher, auf Kosten eines leichten Qualitätsverlusts, den Sie an Ihren eigenen Anwendungsfällen messen sollten.
Quellen
- Jiang, Sablayrolles, Roux et al. (2024). Mixtral of Experts. arXiv-Preprint. arxiv.org/abs/2401.04088