Leiten Sie den lokalen KI-Assistentenverkehr über ein selbstgehostetes Gateway.
Leiten Sie den lokalen KI-Assistentenverkehr über ein zentrales, selbst gehostetes Gateway, das eine Echtzeit-Anrufkompression und Kontextoptimierung anwendet, um die Ausgaben für Inferenz zu reduzieren. Anyray Connect von Othentic Labs Ltd wird als signierte Windows-executable für Ingenieurteams und DevOps geliefert. Es bietet eine OpenAI-kompatible API, bietet Ausgabenattribution nach Team und Projekt und umfasst eine Fail-Open-Zeitüberschreitung, damit die Entwickler-Workflows weiterlaufen. Das Tool eignet sich für Teams, die LLMs in großem Maßstab betreiben und eine lokale Governance benötigen.
Was macht Anyray Connect tatsächlich für den Entwickler-LLM-Verkehr?
Anyray Connect leitet Anfragen von lokalen KI-Tools über ein internes Gateway um, indem es Endpunkte umschreibt, damit Assistenten und SDKs den Optimierer ohne Codeänderungen nutzen können. Die clientseitige ausführbare Datei konfiguriert automatisch kompatible Tools, um auf das Gateway zu zeigen, und das Gateway wendet deterministische, regelbasierte Transformationen für Kompression und Kontextkürzung an. Die Einrichtung zielt auf Umgebungen ab, in denen der Inhalt der Eingabeaufforderung innerhalb der Unternehmensinfrastruktur bleiben muss, und es bietet eine OpenAI-kompatible API, damit bestehende Integrationen weiterhin funktionieren.
Beeinflusst es Arbeitsabläufe oder erfordert es Änderungen in der Technik?
Das Tool funktioniert als Ersatz für bestehende LLM-Endpunkte, sodass Teams den Assistentencode oder SDK-Aufrufe nicht ändern müssen. Darüber hinaus verwendet der Client einen Fail-Open-Mechanismus mit einem Timeout von 800–1200 Millisekunden, der Anfragen unverändert weiterleitet, wenn der Optimierer langsam ist, was die Produktivität der Entwickler erhält. Die Konfiguration erfolgt auf der Client- und Gateway-Ebene, und Installer werden als eine einzelne signierte Windows-executables oder über den Windows-Paketmanager verteilt.
Ist es sicher, in einer Unternehmensumgebung zu arbeiten?
Die Sicherheit ist in die selbstgehostete Architektur integriert; das Gateway und der Optimierer laufen innerhalb Ihrer Infrastruktur (zum Beispiel Docker oder Kubernetes), und der Inhalt von Eingabeaufforderungen/Antworten bleibt vor Ort. Darüber hinaus verwendet der Optimierer deterministische Transformationen, um die Ausgaben stabil zu halten, und die Abrechnung sendet nur inhaltsfreie Metadaten zur Ausgabenattribution. Diese Designentscheidungen begrenzen die externe Exposition und bieten gleichzeitig eine Nutzungserfassung pro Team und pro Projekt.
Ein gezieltes Werkzeug für Ingenieurteams, die bereits selbst gehostete Infrastruktur betreiben
Anyray Connect eignet sich für Ingenieur- und DevOps-Teams, die eine granulare Governance des LLM-Verkehrs benötigen und bereits containerisierte oder lokale Dienste betreiben. Es bewahrt bestehende Integrationen, indem es eine standardisierte API bereitstellt, und hält sensible Eingaben innerhalb des Netzwerks. Der Hauptnachteil ist die betriebliche Anforderung: Teams müssen die Gateway-Infrastruktur hosten und warten, um von den Optimierungs- und Attributionsfunktionen zu profitieren.
