Die besten Praktiken für CI/CD von KI-Agenten sind nicht dieselben wie die von traditioneller Software. Nach acht Monaten im Produktionsbetrieb mit KI-Agenten sind hier die Praktiken, die tatsächlich zählen — getestet durch reale Bereitstellungen, nicht durch theoretische Übungen.
Praxis 1: Alles versionieren, einschließlich Eingabeaufforderungen
Ihr Systemprompt ist genauso kritisch wie Ihr Quellcode. Eine Änderung um ein Wort im Prompt kann jede Antwort, die der Agent produziert, ändern. Dennoch behandeln die meisten Teams Prompts als informelle Konfiguration — spontan bearbeitet, nicht versioniert, nicht überprüft.
Setzen Sie Ihre Prompts unter Versionskontrolle. Überprüfen Sie Änderungen an Prompts in Pull-Requests. Taggen Sie Prompt-Versionen neben Code-Versionen. Wenn in der Produktion etwas schiefgeht, müssen Sie wissen, welche Prompt-Version ausgeführt wurde.
Ich speichere Prompts als Markdown-Dateien im selben Repository wie den Agenten-Code. Jede Änderung des Prompts erhält einen PR, eine Überprüfung und einen Verhaltens-Testlauf.
Praxis 2: Verhaltenstests sind unverzichtbar
Code-Tests überprüfen die Logik. Verhaltenstests überprüfen, ob die KI korrekt agiert. Sie benötigen beide.
Mein Verhaltens-Testpaket umfasst 15 Testfälle, die Folgendes abdecken: Rollen grenzenn (bleibt der Agent im Rahmen?), faktische Genauigkeit (führt er korrekte Informationen an?), Fehlerbehandlung (geht er angemessen mit fehlenden Daten um?), und Ton (ist er passend für den Kontext?).
Jeder Test wird bei jedem PR durchgeführt. Die Pipeline blockiert das Merging, wenn mehr als 2 Tests fehlschlagen. Dies hat in den letzten 4 Monaten 12 Regressionen aufgedeckt, die Code-Tests übersehen hätten.
Praxis 3: Deployment von Release trennen
Deployen Sie den Code, aber aktivieren Sie kein neues Verhalten, bis Sie es in der Produktion verifiziert haben. Feature-Flags machen dies möglich. Deployen Sie am Montag, aktivieren Sie es am Dienstag für interne Benutzer, aktivieren Sie es am Mittwoch für alle.
Dies ist besonders wichtig für KI-Agenten, da Verhaltensänderungen (von Eingabeaufforderungen oder Modellaktualisierungen) schwieriger vorherzusagen sind als Codeänderungen. Die Trennung von Deployment und Release gibt Ihnen einen Puffer, um Überraschungen abzufangen.
Praxis 4: Verhalten überwachen, nicht nur Uptime
Traditionelles Monitoring: Ist der Dienst aktiv? Ist die Reaktionszeit akzeptabel? Ist die Fehlerquote niedrig?
KI-Monitoring fügt hinzu: Ist die Qualitätsstufe der Antworten konsistent? Ist die Halluzinationsrate stabil? Sind die Nutzer zufrieden? Sind die Kosten vorhersehbar?
Ich verfolge eine „Qualitätsbewertung“, die berechnet wird, indem 10% der Antworten ausgewählt und gegen Kriterien bewertet werden. Ein Rückgang der Qualitätsbewertung löst einen Alarm aus, selbst wenn der Dienst technisch gesund ist.
Praxis 5: Rollback automatisieren
Wenn ein Deployment schiefgeht, zählt jede Minute. Manuelles Rollback bedeutet: das Problem bemerken, sich per SSH auf den Server einloggen, den Befehl für das Rollback merken und ausführen. Das dauert im besten Fall 5-15 Minuten.
Automatisiertes Rollback bedeutet: Das Überwachungssystem erkennt das Problem (Spike der Fehlerquote, Qualitätsabfall), setzt automatisch auf die vorherige Version zurück und informiert Sie, dass ein Rollback stattfand.
Mein automatisiertes Rollback wird ausgelöst, wenn die Fehlerquote 10% für 3 Minuten überschreitet oder die Qualitätsbewertung unter 3/5 für 5 Minuten fällt. Fehlalarme sind selten (etwa einmal alle 2 Monate), und die Kosten eines Fehlalarms (ein unnötiges Rollback und erneutes Deployment) sind viel niedriger als die Kosten eines nicht behandelten echten Alarms.
Praxis 6: Pipeline schnell halten
Wenn die CI/CD-Pipeline 30 Minuten dauert, werden die Leute Wege finden, sie zu umgehen. Halten Sie sie unter 15 Minuten für die vollständige Pipeline (Code-Tests + Verhaltenstests + Staging-Deployment). Meine Pipeline läuft in etwa 12 Minuten.
Verhaltenstests sind der Engpass — jeder benötigt einen API-Call zur KI. Parallelisieren Sie sie (alle 15 Tests gleichzeitig ausführen anstatt nacheinander) und setzen Sie angemessene Timeouts (wenn ein Test nicht innerhalb von 60 Sekunden abgeschlossen ist, ist er fehlgeschlagen).
Die minimal umsetzbare Pipeline
Wenn Sie von nichts anfangen, implementieren Sie dies in der Reihenfolge:
1. Versionskontrolle für Code und Prompts (Tag 1)
2. Code-Tests in CI (Woche 1)
3. Blue-Green-Deployment (Woche 1)
4. 5 Verhaltenstests in CI (Woche 2)
5. Nachbereitungsüberwachung (Woche 2)
6. Automatisiertes Rollback (Woche 3)
Jeder Schritt erhöht die Sicherheit. Sie können mit nur den Schritten 1-3 ausliefern und den Rest schrittweise hinzufügen. Warten Sie nicht, bis Sie die „perfekte Pipeline“ haben — beginnen Sie noch heute sicher zu deployen und verbessern Sie sich kontinuierlich.
🕒 Published: