Eigene und lokale LLMs anbinden

Binde lokale oder eigene Sprachmodelle über das Modell-Panel an: vLLM, NVIDIA NIM, Kimi K2 oder jeden OpenAI-kompatiblen Endpunkt. Die Governance (Datenklassen, Residenz) bleibt dabei durchgesetzt.

Wofür

Über das Modell-Panel lassen sich neben den vorhandenen Bedrock-Modellen auch eigene Endpunkte hinterlegen: ein im Cluster gehostetes vLLM, ein NVIDIA-NIM-Microservice, ein gehosteter Kimi-Endpunkt oder jeder andere OpenAI-kompatible Dienst. Voraussetzung ist eine «/v1»-kompatible API.

Das Anlegen testet die Verbindung; schlägt der Test fehl, wird kein Eintrag angelegt. Der API-Schlüssel ist ein reines Schreibfeld. Er wird verschlüsselt bei LiteLLM gespeichert und nie zurückgelesen.

Beispiel-Konfigurationen

vLLM (im Cluster)

endpoint_url: http://vllm.aif-platform.svc.cluster.local:8000/v1
Selbst gehostetes Modell (z. B. Kimi K2) hinter vLLM, im Cluster erreichbar. Als «api_key» genügt ein Platzhalter, falls vLLM ohne Authentifizierung läuft.

NVIDIA NIM (im Cluster)

endpoint_url: http://nim.aif-platform.svc.cluster.local:8000/v1
NIM-Microservice (z. B. Nemotron), OpenAI-kompatibel, im Cluster erreichbar. Endpunkt analog zu vLLM; «api_key» je nach NIM-Konfiguration.

Kimi K2 (extern, gehostet)

endpoint_url: https://api.moonshot.ai/v1
Gehosteter Kimi-Endpunkt (Moonshot). Als «api_key» der Schlüssel des Moonshot-Kontos. Weil der Endpunkt extern ist, sind souveräne Datenklassen ohne Übersteuerung gesperrt (siehe «Datenklassen und Residenz-Gate»).

Datenklassen und Residenz-Gate

Jedes Modell wird Datenklassen zugeordnet, die festlegen, welche Inhalte darüber laufen dürfen:

• C0 (experimentell): nur Versuche ohne schützenswerte Daten; niedrigste Stufe.
• C1 (intern): allgemeine, nicht besonders schützenswerte Inhalte.
• C2 (vertraulich): schützenswert, eingeschränkter Kreis.
• C3 (streng vertraulich): souverän, höchste Schutzstufe.

Das Residenz-Gate verbindet Klasse und Standort: Ein externer Endpunkt darf keiner souveränen Klasse (standardmässig C3) zugeordnet werden, ausser mit einem auditierten Override mit Begründung. Diese harte Grenze liegt im Backend; die Oberfläche verlangt bei dieser Kombination eine Begründung.

Das Gate sperrt für externe Modelle nur die souveränen Klassen. C0, C1 und C2 dürfen externe Modelle bedienen, auch solche mit Verarbeitung ausserhalb der EU und der Schweiz. Wo ein externes Modell antwortet, nennt ein Hinweis Anbieter und Verarbeitungsort.

Modell anbinden

Das Anlegen und Verwalten läuft über das Plattform-Panel (nur für Plattform-Admins).

Modell anbinden: Plattform → Modelle