Die meisten CI/CD-Tutorials sprechen über das Bauen und Bereitstellen von Code. Wenn Sie IA ins Spiel bringen, muss die Pipeline mit etwas umgehen, mit dem die Code-Pipelines nie zu tun hatten: der Überprüfung des Verhaltens. Der Code kompiliert oder kompiliert nicht. IA-Agenten verhalten sich entweder gut oder sie verhalten sich subtil falsch auf schwer automatisch zu erkennende Weisen.
Hier ist, was sich im CI/CD ändert, wenn IA involviert ist, und warum Ihre bestehende Jenkins- oder GitHub Actions-Pipeline angepasst werden muss.
Die Lücke zwischen Code-Tests und Verhaltens-Tests
Das Standard-CI/CD erkennt: Syntaxfehler, fehlgeschlagene Unittests, defekte Integrationen, Abhängigkeitskonflikte. Das sind binäre Ergebnisse: erfolgreich oder fehlgeschlagen.
Die spezifischen Probleme der IA, die das Standard-CI/CD nicht erkennt: Änderungen an Prompts, die das Verhalten verändern, Modell-Updates, die die Qualität der Ausgabe ändern, Kontextmanagement, das für kurze Gespräche funktioniert, aber für lange versagt, und Grenzfälle, in denen die IA selbstbewusste, aber falsche Antworten liefert.
Ich habe ein „Verhaltens-Gate“ in meine Pipeline integriert. Nachdem die Code-Tests erfolgreich waren, sendet die Pipeline 10 vordefinierte Prompts an den Agenten und bewertet die Antworten nach verhaltensbasierten Kriterien. Wenn mehr als 2 Antworten die Kriterien nicht erfüllen, wird die Bereitstellung blockiert.
Dies erfasst etwa 70 % der IA-bezogenen Regressionen, die die Code-Tests nicht erkennen. Die verbleibenden 30 % werden durch eine Nachbereitungsüberwachung erkannt.
Was im Pipeline getestet werden sollte
Einhaltung der Grenzen. Bleibt der Agent in seiner definierten Rolle? Senden Sie einen Prompt, der fordert, etwas außerhalb seines Handlungsrahmens zu tun. Die erwartete Antwort: höfliche Ablehnung. Wenn er sich anpasst, sind Ihre Grenzen durchlässig geworden.
Faktische Richtigkeit bei bekannten Fragen. Stellen Sie Fragen mit bekannten Antworten aus Ihrer Dokumentation. Zitiert der Agent die richtigen Informationen? Dies hilft, Integrationsfehler in der Dokumentation und Abrufprobleme zu erkennen.
Konsistenz des Tons. Stellen Sie die gleiche Frage in unterschiedlichen Kontexten. Die Antwort sollte im Support-Kanal professionell und im allgemeinen Kanal locker sein (oder wie in Ihrer Konfiguration festgelegt). Dies erkennt Änderungen an Prompts, die den Ton unbeabsichtigt verändern.
Fehlerbehandlung. Senden Sie eine Anfrage, die ein absichtlich deaktiviertes Tool benötigt. Der Agent muss melden, dass er die Aktion nicht durchführen kann, anstatt ein Ergebnis zu halluzinieren.
Architektur der Pipeline
Meine vierstufige Pipeline für die Bereitstellung von IA-Agenten:
Schritt 1: Standard-CI (2 Minuten). Linting, Typprüfung, Unittests. Erkennt Codefehler. Wird bei jedem Commit ausgeführt.
Schritt 2: Verhaltens-Tests (3 Minuten). 10 Verhaltenstestfälle gegen eine Pre-Production-Instanz. Erkennt Verhaltensregressionen der IA. Wird bei jedem PR ausgeführt.
Schritt 3: Bereitstellung in Pre-Production (5 Minuten). Bereitstellung in der Pre-Production, Durchführung von Validierungstests, Überprüfung der Gesundheit. Erkennt umgebungsbezogene Probleme.
Schritt 4: Bereitstellung in Produktion (2 Minuten + 30 Minuten Überwachung). Bereitstellung mit verbesserter Überwachung. Warnung bei Auffälligkeiten in den ersten 30 Minuten.
Gesamtdauer der Pipeline: etwa 12 Minuten bis zur Produktion, plus 30 Minuten Nachbereitungsüberwachung. Es ist langsamer als die Bereitstellung ohne das Verhaltens-Gate, aber das Gewinnen an Vertrauen ist jede Sekunde wert.
Praktische Überlegungen
Kosten der Verhaltens-Tests. Jede Testausführung kostet etwa 0,30 bis 0,50 $ an API-Gebühren (10 Prompts, die vom IA-Modell verarbeitet werden). Für ein Team, das 5 Mal pro Tag bereitstellt, sind das 1,50 bis 2,50 $ pro Tag. Eine kostengünstige Versicherung.
Instabile Tests. Die Antworten der IA variieren, daher können die Verhaltens-Tests instabil sein. Eine Antwort, die 9 von 10 Mal besteht, wird zufällig beim 10. Durchlauf fehlschlagen. Meine Lösung: Jeder Verhaltenstest wird 3 Mal ausgeführt, und er besteht, wenn 2 von 3 Ausführungen erfolgreich sind. Das eliminiert die meisten falschen Negativen und erfasst gleichzeitig die tatsächlichen Regressionen.
Wartung der Tests. Die Verhaltens-Tests müssen aktualisiert werden, wenn sich das Verhalten des Agenten absichtlich ändert. Wenn Sie den Prompt aktualisieren, um den Ton des Agenten zu ändern, müssen die Tests zur Tonüberprüfung ebenfalls aktualisiert werden. Ich überprüfe die Verhaltens-Tests jeden Monat und aktualisiere diejenigen, die nicht mehr zum gewünschten aktuellen Verhalten passen.
Der entscheidende Punkt: CI/CD für IA-Agenten erfordert die Überprüfung des Verhaltens, nicht nur des Codes. Fügen Sie Ihrer Pipeline ein Verhaltens-Gate hinzu, akzeptieren Sie die leichten zusätzlichen Kosten und die Komplexität, und Ihre Bereitstellungen werden erheblich sicherer.
🕒 Published: