KI-Plattformen & Agenten

Ausgangslage

Aus einer Kundenanforderung sollte eine dedizierte Plattform für die Bereitstellung von KI-Modellen entstehen. Die Basis bildeten cloudagnostische Kubernetes-Umgebungen, um die Plattform über unterschiedliche Cloud-Umgebungen hinweg aufbauen zu können.

Mein Beitrag

• Übersetzung der Kundenanforderungen in ein Plattformkonzept und Umsetzung bis zur Bereitstellung.
• Aufbau der Infrastruktur und der Deployments mit Terraform und Helm sowie Integration von vLLM und Text Embeddings Inference (TEI).
• Sizing der GPU-Ressourcen für die vorgesehenen Modelle und deren Bereitstellung.

Ziel der Lösung

Eine dedizierte Grundlage für KI-Inferenz schaffen, bei der Modellbereitstellung und Ressourcenplanung auf den jeweiligen Bedarf abgestimmt sind.

Ausgangslage

Im behördlichen Umfeld sollte ein KI-Agent Fachprozesse unterstützen. Dafür waren die fachlichen Anforderungen in eine Plattform zu übersetzen, die Prozessabläufe und KI-Integration zusammenführt.

Mein Beitrag

• Konzeption der Lösung ausgehend von den zu unterstützenden Fachprozessen.
• Aufbau der Plattform auf Kubernetes mit PostgreSQL als Datenbank und n8n für die Workflow-Orchestrierung.
• Einbindung von KI-Funktionen in die Abläufe des Agenten und Zusammenführung der beteiligten Komponenten.

Ziel der Lösung

KI-Unterstützung innerhalb der Fachprozesse bereitstellen und die einzelnen Verarbeitungsschritte über Workflows miteinander verbinden.