Die meisten CI/CD-Tutorials beschäftigen sich mit dem Erstellen und Bereitstellen von Code. Wenn man KI hinzufügt, muss die Pipeline mit etwas umgehen, um das sich Code-Pipelines nie gekümmert haben: Verhaltensüberprüfung. Code kompiliert entweder oder er tut es nicht. KI-Agenten verhalten sich entweder gut oder verhalten sich subtil auf Weisen, die schwer automatisch zu erkennen sind.
Hier ist, was sich bei CI/CD ändert, wenn KI im Spiel ist, und warum Ihre bestehende Jenkins- oder GitHub Actions-Pipeline Anpassungen benötigt.
Die Lücke zwischen Code-Tests und Verhaltens-Tests
Standard-CI/CD erkennt: Syntaxfehler, fehlgeschlagene Unit-Tests, fehlerhafte Integrationen, Konflikte bei Abhängigkeiten. Dies sind binäre Tests — bestanden oder nicht bestanden.
KI-spezifische Probleme, die der Standard-CI/CD übersieht: Änderungen an den Eingabeaufforderungen, die das Verhalten verändern, Modellaktualisierungen, die die Ausgabequalität verändern, Kontextverarbeitung, die für kurze Gespräche funktioniert, aber bei langen scheitert, und Grenzfälle, in denen die KI selbstbewusste, aber falsche Antworten produziert.
Ich habe ein „Verhaltensgate“ zu meiner Pipeline hinzugefügt. Nachdem die Code-Tests bestanden sind, sendet die Pipeline 10 vordefinierte Eingabeaufforderungen an den Agenten und bewertet die Antworten anhand von Verhaltenskriterien. Wenn mehr als 2 Antworten die Kriterien nicht erfüllen, wird die Bereitstellung blockiert.
Das erfasst etwa 70 % der KI-bezogenen Regressionen, die von den Code-Tests übersehen werden. Die verbleibenden 30 % werden durch die Nachüberwachungen nach der Bereitstellung erfasst.
Was in der Pipeline getestet werden sollte
Grenzenübereinstimmung. Bleibt der Agent innerhalb seiner definierten Rolle? Senden Sie eine Eingabeaufforderung, in der er aufgefordert wird, etwas außerhalb seines Rahmens zu tun. Die erwartete Antwort: höfliche Ablehnung. Wenn er zustimmt, sind Ihre Grenzen durchlässig.
Faktengenauigkeit bei bekannten Fragen. Senden Sie Fragen mit bekannten Antworten aus Ihrer Dokumentation. Zitiert der Agent die korrekten Informationen? Dies erkennt Integrationsfehler in der Dokumentation und Abrufprobleme.
Tonkonstanz. Stellen Sie dieselbe Frage in verschiedenen Kontexten. Die Antwort sollte im Hilfekanal professionell und im allgemeinen Kanal lässig sein (oder was auch immer Ihre Konfiguration vorgibt). Dies erkennt Änderungen an den Eingabeaufforderungen, die versehentlich den Ton ändern.
Fehlerbehandlung. Senden Sie eine Anfrage, die ein absichtlich deaktiviertes Tool erfordert. Der Agent sollte berichten, dass er die Aktion nicht durchführen kann, anstatt ein Ergebnis zu halluzinieren.
Pipeline-Architektur
Meine vierstufige Pipeline für KI-Agenten-Bereitstellungen:
Stufe 1: Standard CI (2 Minuten). Linting, Typprüfung, Unit-Tests. Fängt Codefehler auf. Läuft bei jedem Commit.
Stufe 2: Verhaltens-Tests (3 Minuten). 10 Verhaltens-Testfälle gegen eine Staging-Instanz. Fängt Rückschritte im Verhalten der KI auf. Läuft bei jedem PR.
Stufe 3: Staging-Bereitstellung (5 Minuten). Bereitstellung auf Staging, Rauchtests durchführen, Gesundheit überprüfen. Fängt umgebungsspezifische Probleme auf.
Stufe 4: Produktionsbereitstellung (2 Minuten + 30 Minuten Überwachung). Bereitstellung mit erweiterten Überwachungen. Alarm bei jeder Anomalie in den ersten 30 Minuten.
Gesamte Pipeline-Zeit: etwa 12 Minuten bis zur Produktion, plus 30 Minuten Nachüberwachung nach der Bereitstellung. Das ist langsamer als eine Bereitstellung ohne das Verhaltensgate, aber der Gewin von Vertrauen ist jede Sekunde wert.
Praktische Überlegungen
Kosten der Verhaltens-Tests. Jeder Testlauf kostet etwa 0,30 bis 0,50 USD an API-Gebühren (10 Eingabeaufforderungen, die vom KI-Modell verarbeitet werden). Für ein Team, das 5 Mal pro Tag bereitstellt, sind das 1,50 bis 2,50 USD/Tag. Günstige Versicherung.
Unzuverlässige Tests. KI-Antworten variieren, sodass Verhaltens-Tests unzuverlässig sein können. Eine Antwort, die 9 von 10 Mal besteht, wird beim 10. Lauf zufällig fehlschlagen. Meine Lösung: jeder Verhaltens-Test wird 3 Mal durchgeführt, und er besteht, wenn 2 von 3 Läufen bestehen. Dies eliminiert die meisten falsch-negativen Ergebnisse und stellt gleichzeitig sicher, dass echte Regressionen erfasst werden.
Testwartung. Verhaltens-Tests müssen aktualisiert werden, wenn sich das Verhalten des Agenten absichtlich ändert. Wenn Sie die Eingabeaufforderung aktualisieren, um den Ton des Agenten zu ändern, müssen auch die Tonüberprüfungstests aktualisiert werden. Ich überprüfe die Verhaltens-Tests monatlich und aktualisiere alle, die nicht mehr mit dem aktuellen vorgesehenen Verhalten übereinstimmen.
Die wichtigste Erkenntnis: CI/CD für KI-Agenten erfordert die Überprüfung von Verhalten, nicht nur von Code. Fügen Sie Ihrer Pipeline ein Verhaltensgate hinzu, akzeptieren Sie die geringe Kosten- und Komplexitätssteigerung, und Ihre Bereitstellungen werden dramatisch sicherer.
🕒 Published: