Bei generativer KI handelt es sich um einen inhärent hybriden Workload. Neue Anwendungen werden oft in der Public Cloud erstellt, während die Modelle auf Basis privater Daten in On-premises-Umgebungen angepasst und feinjustiert werden. Die Inferenzierung findet hingegen in der unmittelbaren Nähe des Betriebsorts der Geschäftslogik statt, ob am Edge, On-Premises oder in der Public Cloud. Dieser verteilte hybride GenAI-Workflow kann jedoch für Unternehmen eine Herausforderung hinsichtlich Komplexität, Datenschutz, Sicherheit und Kosten darstellen. Hier setzt das neue Produkt Nutanix Enterprise AI an.
Flexible Modellauswahl
Das System soll ein konsistentes Multicloud-Betriebsmodell sowie einfache Möglichkeit bieten, LLMs mithilfe der Nvidia NIM-optimierten Inferencing-Microservices und quelloffener Basismodelle von Hugging Face bereitzustellen, zu skalieren und zu betreiben. Dadurch können Anwender eine Enterprise-GenAI-Infrastruktur mit dem Maß an Resilienz, Betriebsmöglichkeiten und Sicherheit aufbauen, das sie für ihre Anwendungen benötigen. Abgerechnet wird das Produkt auf Basis von Infrastrukturressourcen, nicht etwa Token-basiert.
GPT-Paket geschnürt
Die neue Software ist eine Komponente von GPT-in-a-Box 2.0. Das Angebot beinhaltet die HCI-Software Nutanix Cloud Infrastructure, die Kubernetes-Plattform NKP sowie die Block-, Objekt- und Dateispeicheranwendung Nutanix Unified Storage. Darüber hinaus enthält das GPT-Paket Dienste zur Unterstützung von Kundenanforderungen hinsichtlich Konfiguration und Sizing für On-Premises-Training und -Inferencing.
Air-gapped Betrieb möglich
Ausgeliefert wird das System mit einem Dashboard zu Fehlerermittlung und -beseitigung, Observability und Kontrolle des Ressourcenverbrauchs bei der Nutzung von LLMs. Zusätzlich bietet die Anwendung eine rollenabhängige Zugriffskontrollen (RBAC) für die LLMs. Unternehmen mit hohen Sicherheitsstandards können das Tool in isolierten (air-gapped) oder Darksite-Umgebungen bereitstellen. Nutanix Enterprise AI für den Einsatz On-premises, am Edge oder in der Public Cloud und Nutanix GPT-in-a-Box 2.0 sind ab Ende letzten Jahres erhältlich.
