Senior AI Platform Engineer- LLM & Agents (m/w/d)

About this role

NeuraPlox baut eine AI-Agent-Plattform für Enterprise-Kunden aus Banken, Versicherungen und Pharma. Unsere Kunden müssen ihre KI-Outputs nicht nur erklären wollen, sondern erklären können: gegenüber Aufsicht, Audit und eigenen Fachbereichen. Deshalb bauen wir explainable AI mit Audit-Lineage, Decision-Provenance und Retrieval, das auch bei Millionen von Vektoren pro Tenant sauber funktioniert. Wir sind ein investor-backed Startup mit einem kleinen Team, in dem jede Entscheidung sichtbar Wirkung hat.

Als Senior AI Platform Engineer verantwortest du die Agent-Architektur, also den Kern unseres Produkts, und baust das AI-Engineering bei uns entscheidend mit auf. Aufgaben Was Du bei uns machst Eine produktionsreife AI-Agent-Plattform auf Basis von PydanticAI, LiteLLM und Langfuse RAG-Pipelines mit pgvector at scale: Multi-Tenant-Isolation, Index-Rebuild-Strategie, Hybrid Search und Re-Ranking Einen Multi-Tenant-Token-Quota-Service und Eval-Frameworks pro Tenant MCP-Tool-Integration (Model Context Protocol) als fester Bestandteil der Architektur Lückenlose Auditierbarkeit von Prompt bis Output, damit Entscheidungen für Fachbereich und Aufsicht nachvollziehbar sind Architektur-Entscheidungen, die auch im Bank-, Versicherungs- und Pharma-Umfeld bestehen Wie wir arbeiten Eval-driven: Jeder Agent-Change läuft durch eine Eval-Suite, bevor er live geht.

ADRs: Relevante Architektur-Entscheidungen werden dokumentiert, nicht im Slack-Thread vergraben. Gemessen statt geraten: LLM-Calls sind ab Tag eins in Langfuse sichtbar, inklusive Kosten und Latenz. Empirisch: Re-Ranking, pgvector-Sizing und Retrieval-Qualität entscheiden wir auf Basis von Daten. Kurze Wege: Direkter Draht zum Founding-Team, keine Projektmanagement-Ebene dazwischen. Qualifikation Was wir suchen 5+ Jahre Software-Engineering mit Python in Produktion Erfahrung mit LLMs in Produktion: Tokens, Latenz, Kosten und Evals sind für dich Alltag RAG-Systeme, die du selbst gebaut und betrieben hast, inklusive Retrieval-Tuning und Re-Ranking Ein Agent-Framework wie LangGraph, PydanticAI oder vergleichbar im Produktiveinsatz Sehr gutes Deutsch und gutes Englisch, da du mit Enterprise-Kunden im DACH-Raum arbeitest Ein Plus, aber kein Muss: Erfahrung mit LiteLLM, Langfuse oder MCP.