Häufige Fragen zu Self-Hosted KI.

Für kleine Modelle (bis ca. 7B Parameter) läuft der Betrieb auch auf moderner CPU-Hardware akzeptabel – für interne Tools mit überschaubarer Last oft ausreichend. Für flüssigen Produktionsbetrieb, größere Modelle oder höhere Nutzerzahlen empfehlen wir GPU-Hardware. Wir beraten Sie je nach konkretem Anwendungsfall.

Das hängt stark von der Modellgröße ab. Als grobe Orientierung: Ein 7B-Modell in quantisierter Form (4-Bit) benötigt ca. 4–6 GB RAM. Ein 13B-Modell ca. 8–10 GB, ein 70B-Modell deutlich mehr. Für den produktiven Einsatz planen wir die Hardware gemeinsam mit Ihnen nach den konkreten Anforderungen.

Je nach Modell und Quantisierung zwischen 2 GB (sehr kleine Modelle) und 40+ GB (große Modelle in voller Präzision). Quantisierte Modelle (z.B. 4-Bit) sind deutlich kleiner und für die meisten Anwendungsfälle gut geeignet.

Ja. Self-Hosted KI kann vollständig ohne Internetverbindung betrieben werden (Air-Gapped). Einmal installiert, benötigt das System keine externe Verbindung. Das ist besonders relevant für Kanzleien, Praxen und andere Organisationen mit besonders schützenswerten Daten.

Das hängt vom gewählten Betriebsmodell ab. On-Premise beim Kunden hat einmalige Einrichtungskosten und dann planbare Wartungskosten. Managed Hosting hat monatliche Betriebskosten, dafür keine eigene Hardware. Wir besprechen das gerne konkret in einem ersten Gespräch.

Ja – unter der Voraussetzung, dass die KI auf deutschen oder europäischen Servern läuft und Daten die vereinbarte Infrastruktur nicht verlassen. Wir betreiben ausschließlich in Deutschland oder On-Premise beim Kunden. Ein Auftragsverarbeitungsvertrag (AVV) kann abgeschlossen werden.