Sie haben ein Deep-Learning-Modell, das in Ihrer Konsole oder einem Jupyter-Notebook läuft, und möchten es für Ihr Unternehmen verfügbar machen oder der Welt zugänglich machen? Der AIME API Server ist die einfache und skalierbare Lösung dafür. Er verwandelt Ihr Skript in eine sichere und robuste Web-API, die als Schnittstelle zu mobilen Geräten, Browsern und Desktop-Anwendungen dient.

Mit dem AIME API Server können Deep-Learning-Modelle (PyTorch, TensorFlow) über eine Job-Queue als API-Endpunkte bereitgestellt werden, die Millionen von Anfragen zur Modellinferenz bewältigen können.

Die Lösung basiert auf einer verteilten Serverarchitektur, bei der ein zentraler AIME API Server über eine Job-Queue mit einem skalierbaren GPU-Compute-Cluster kommuniziert. Dieser GPU-Cluster kann heterogen und an verschiedenen Standorten verteilt sein, ohne dass eine direkte Verbindung zwischen den Standorten erforderlich ist. Die Berechnung der Modell-Jobs erfolgt über sogenannte Compute Worker, die über eine sichere HTTPS-Schnittstelle mit dem AIME API Server verbunden sind. Dabei ist die physische Lokation der Compute Worker unabhängig vom API Server; sie benötigen lediglich eine Internetverbindung, um Jobs anzufordern und Ergebnisse zurückzusenden.

Auf diese Weise ermöglichen wir die einfache Entwicklung KI-basierter Softwareprodukte, indem lediglich ein Frontend erstellt werden muss, das mit der API verbunden ist. GPU-Worker-Knoten können sich flexibel und skalierbar anmelden, während das Load-Balancing zentral vom API Server übernommen wird.