Hallo, treue Clawgo-Fans! Jake Morrison hier, zurück am Keyboard und begeistert von etwas, an dem ich in den letzten Wochen unermüdlich gearbeitet habe. Ihr kennt mich, ich liebe es, mit den neuesten KI-Technologien zu experimentieren, besonders wenn sie versprechen, mein Leben – und eures – ein wenig einfacher zu machen. Heute sprechen wir nicht nur über KI; wir tauchen direkt in die praktische Magie ein, einen KI-Agenten zu bekommen, der tatsächlich *Dinge* für euch erledigen kann. Genauer gesagt, werden wir einen sehr fokussierten Ansatz verfolgen: die Erstellung eines autonomen und einfachen Recherche-Agenten, der euch hilft, über ein Nischenthema informiert zu bleiben. Denn seien wir realistisch, der Informationsfluss da draußen ist genug, um jeden zu ertränken.
Ich habe versucht, die Entwicklungen in der KI-Ethisik zu verfolgen, insbesondere im Hinblick auf die Erkennung von Vorurteilen in großen Sprachmodellen. Das ist ein Bereich, der sich rasend schnell entwickelt, und alle zwei Tage gibt es einen neuen Artikel, eine neue Diskussion, einen neuen Rahmen. Mein manueller Prozess umfasste endlose RSS-Feeds, Google Scholar-Benachrichtigungen und einen Berg von ungelesenen Tabs. Das war unhaltbar. Ich brauchte eine bessere Lösung. Hier kam mir die Idee eines speziellen, ständig aktiven Recherche-Agenten wirklich sinnvoll vor.
Mein Informationsüberlastungsproblem, (hauptsächlich) durch einen Agenten gelöst
Lasst mich ein Bild malen. Es ist 7 Uhr morgens. Mein Kaffee brüht, und ich fühle bereits dieses vertraute Unbehagen, meinen Browser zu öffnen. Zwanzig Tabs von gestern, ein Dutzend Artikel, die ich in meiner „später lesen“-App ablegen wollte, und ein stechendes Gefühl, dass ich etwas Entscheidendes verpasst habe. Das ist nicht produktiv. Es ist einfach… Lärm. Mein Ziel war nicht, mein eigenes kritisches Denken zu ersetzen, sondern die ersten Sortierungen und Filterungen zu delegieren. Ich wollte einen digitalen Assistenten, der meine spezifischen Interessen versteht und mir die wesentlichen Punkte liefert, nicht den gesamten Ozean.
Es geht nicht um eine allgemeine Science-Fiction-KI, die eure Wäsche faltet und eure Blogartikel schreibt (auch wenn das nett wäre, oder?). Es handelt sich um einen sehr spezifischen, aufgabenorientierten Agenten, der eine definierte Eingabe erhält, sie nach einem Regelwerk verarbeitet und euch ein verdauliches Ergebnis liefert. Denkt daran wie an euren persönlichen Bibliothekar, aber einen, der von Abend bis Morgen alles liest und eine prägnante Zusammenfassung an eure digitale Haustür hinterlässt.
Warum nicht einfach Google Alerts nutzen?
Gute Frage! Und eine, die ich mir gestellt habe. Google Alerts ist großartig, um Schlüsselwörter zu verfolgen, aber es fehlt an Nuancen. Ich war von Artikeln über „KI-Vorurteile“ überflutet, die sich jedoch, sagen wir, mit Vorurteilen in der Bilderkennung beschäftigten, während mein Fokus spezifisch auf den LLM lag. Ich brauchte etwas, das den Kontext verstehen, irrelevanten Lärm herausfiltern und sogar Informationen synthetisieren kann. Eine einfache Schlüsselwortsuche reicht nicht aus, wenn man nach tiefergehenden Einblicken oder aufkommenden Trends sucht.
Mein Agent, den ich liebevoll „Clawdette“ genannt habe (weil, ihr wisst schon, Clawgo), geht über Schlüsselwörter hinaus. Er nutzt ein Sprachmodell, um den *Sinn* des Inhalts zu verstehen, nicht nur die Wörter. Das macht einen riesigen Unterschied in der Qualität der Informationen, die er liefert.
Clawdette bauen: Die Grundlagen meines Recherche-Agenten
Okay, lasst uns zum Punkt kommen. Ich werde euch die grundlegenden Komponenten erklären, die ich verwendet habe, um Clawdette zu erstellen. Es ist keine Raketenwissenschaft, aber es erfordert ein bisschen Skripting und ein Verständnis dafür, wie diese KI-Modelle funktionieren. Mein Setup verwendet eine Kombination aus Python für das Skripting, einigen Open-Source-Bibliotheken und einem Zugang zu einer LLM-API (ich habe GPT-4 von OpenAI verwendet, aber ihr könnt euch an andere anpassen).
Schritt 1: Das Informationssammlermodul
Zuerst muss Clawdette Informationen sammeln. In meinem speziellen Anwendungsfall bedeutete das, akademische Artikel, Nachrichten und spezifische Diskussionsforen zu überwachen. Ich habe einen zweigleisigen Ansatz verwendet:
- RSS-Feed-Scraper: Viele akademische Zeitschriften und Tech-News-Websites bieten RSS-Feeds an. Es ist eine super effiziente Möglichkeit, neue Inhalte zu erhalten, ohne ständig ihre Server zu belasten. Ich habe die Python-Bibliothek
feedparserverwendet. - Ein einfacher Web-Scraper (für spezifische Seiten): Für Seiten ohne gute RSS-Feeds habe ich einen einfachen Scraper mit
BeautifulSoupundrequestserstellt, um Inhalte von spezifischen URLs, die ich als wichtige Quellen identifiziert habe, zu extrahieren.
Hier ist ein vereinfachter Ausschnitt davon, wie ich Artikel aus einem RSS-Feed abrufen würde:
import feedparser
import requests
from bs4 import BeautifulSoup
def get_articles_from_rss(rss_url):
feed = feedparser.parse(rss_url)
articles = []
for entry in feed.entries:
# Grundlegende Filterung für aktuelle Artikel (z.B. letzte 24 Stunden)
# Ihr müsstet eine robustere Datumsanalyse für die Produktion haben
articles.append({
'title': entry.title,
'link': entry.link,
'summary': getattr(entry, 'summary', 'Keine Zusammenfassung verfügbar')
})
return articles
def scrape_article_content(url):
try:
response = requests.get(url, timeout=10)
response.raise_for_status() # Löst eine Ausnahme für HTTP-Fehler aus
soup = BeautifulSoup(response.text, 'html.parser')
# Das hängt stark von der Struktur der Website ab
# Ihr müsstet das HTML überprüfen, um den Hauptinhalt zu finden
main_content_div = soup.find('div', class_='article-body')
if main_content_div:
return main_content_div.get_text(separator='\n', strip=True)
return "Inhalt nicht gefunden."
except requests.exceptions.RequestException as e:
print(f"Fehler beim Scrapen von {url}: {e}")
return None
# Beispiel für die Verwendung:
# tech_rss = "https://example.com/tech-news-rss.xml"
# new_articles = get_articles_from_rss(tech_rss)
# for article in new_articles:
# print(f"Titel: {article['title']}\nLink: {article['link']}")
# full_content = scrape_article_content(article['link'])
# # Jetzt habt ihr den vollständigen Inhalt, den ihr an euer LLM weitergeben könnt
Ein Wort der Warnung: Wenn ihr scrapt, seid immer auf das robots.txt einer Website und deren Nutzungsbedingungen aufmerksam. Überlastet eine Seite nicht mit Anfragen, und haltet euch an ihre Regeln. Ich habe mich in der Regel auf Websites konzentriert, die entweder klare APIs bereitstellten oder akademische Archive mit expliziten Politiken für den freien Zugang waren.
Schritt 2: Das Filter- und Zusammenfassungsmodul (Das KI-Gehirn)
Hier beginnt die Magie. Sobald Clawdette einen Stapel roher Artikel hat, muss sie herausfinden, welche relevant sind und diese dann zusammenfassen. Hier kommt das LLM ins Spiel. Meine Prompt-Konstruktion war hier entscheidend. Ich habe nicht einfach gesagt „fasse das zusammen“. Ich habe spezifische Anweisungen gegeben:
- “Du bist ein Forscher in der KI-Ethisik, der auf die Erkennung von Vorurteilen in großen Sprachmodellen spezialisiert ist.”
- “Lies den folgenden Artikel. Bestimme zunächst, ob sein Hauptziel innovative Methoden zur Erkennung oder Minderung von Vorurteilen in LLM behandelt oder ob er neue Entdeckungen zu Vorurteilen in LLM präsentiert. Wenn dies nicht der Fall ist, wirf ihn weg.”
- “Wenn relevant, gib eine prägnante Zusammenfassung (max. 200 Wörter) an, die die wesentlichen Methdologien, Ergebnisse und die Auswirkungen auf die Entwicklung von LLM hervorhebt. Nenne auch alle neuartigen Datensätze oder Benchmarks, die eingeführt werden.”
- “Schließlich gib eine ‚Relevanzbewertung‘ von 1 bis 5 ab, wobei 5 sehr relevant und sofort umsetzbar für jemanden ist, der nach diesem Thema sucht.”
Diese strukturierte Aufforderung stellt sicher, dass das LLM als spezialisierter Experte agiert, nicht nur als allgemeine Zusammenfassung. Das erspart mir das Lesen von Zusammenfassungen irrelevanter Artikel.
from openai import OpenAI
# client = OpenAI(api_key="YOUR_OPENAI_API_KEY") # Ersetzen Sie durch Ihren echten Schlüssel
def process_article_with_llm(article_title, article_content):
prompt = f"""
Sie sind ein KI-Ethischen Forscher mit Expertise in der Erkennung von Vorurteilen in großen Sprachmodellen.
Ihre Aufgabe ist es, den folgenden Artikel zu analysieren:
Titel: "{article_title}"
Inhalt: "{article_content}"
Zuerst bestimmen Sie, ob das Hauptziel sich auf innovative Methoden zur Erkennung oder Minderung von Vorurteilen in den LLM bezieht,
oder ob er neue Erkenntnisse über Vorurteile der LLM präsentiert. Wenn das Hauptziel dies NICHT ist, geben Sie 'Nicht relevant' an
und liefern Sie keine weitere Analyse.
Wenn relevant, geben Sie eine prägnante Zusammenfassung (max. 200 Wörter) an, die die wesentliche Methodik, die Ergebnisse,
und die Implikationen für die Entwicklung der LLM hervorhebt. Identifizieren Sie auch alle innovativen Datensätze oder Benchmarks, die eingeführt wurden.
Schließlich vergeben Sie eine 'Relevanzbewertung' von 1 bis 5, wobei 5 sehr relevant und sofort umsetzbar ist
für jemanden, der zu diesem Thema recherchiert.
Formatieren Sie Ihre Ausgabe klar und trennen Sie die Abschnitte.
"""
try:
response = client.chat.completions.create(
model="gpt-4-turbo-preview", # Oder Ihr bevorzugtes Modell
messages=[
{"role": "system", "content": "Sie sind ein hilfreicher Assistent."},
{"role": "user", "content": prompt}
],
temperature=0.3 # Niedrigere Temperatur für faktische, weniger kreative Ausgaben
)
return response.choices[0].message.content
except Exception as e:
print(f"Fehler bei der Verarbeitung des Artikels mit dem LLM: {e}")
return "LLM-Verarbeitung fehlgeschlagen."
# Beispiel zur Verwendung:
# article_content = scrape_article_content(article['link']) # Aus dem vorherigen Schritt
# if article_content:
# llm_analysis = process_article_with_llm(article['title'], article_content)
# print(llm_analysis)
Temperaturregulierung: Beachten Sie das temperature=0.3. Für faktische Aufgaben wie Zusammenfassungen und Filterungen möchten Sie eine niedrigere Temperatur. Dies macht das LLM weniger „kreativ“ und konzentrierter bei der Bereitstellung direkter und konsistenter Antworten basierend auf dem Eingang.
Schritt 3: Das Ausgabemodul und die Benachrichtigung
Was nützt all diese Analyse, wenn sie nur in einem Python-Skript bleibt? Clawdette musste ihre Schlussfolgerungen liefern. Ich habe einige Optionen erkundet:
- E-Mail-Digest: Einfach, effektiv. Ich habe ein Skript eingerichtet, das mir jeden Morgen eine HTML-formatierte E-Mail mit den Zusammenfassungen der relevantesten Artikel (Relevanzbewertung 4 oder 5) sendet.
- Slack/Discord-Benachrichtigung: Für schnellere und unmittelbare Warnungen zu extrem relevanten Themen habe ich einen Webhook zu meinem privaten Slack-Kanal eingerichtet.
- Lokale Markdown-Datei: Als Backup und für eine kumulative Aufzeichnung habe ich Clawdette auch gebeten, die Erkenntnisse in einer lokalen Markdown-Datei, organisiert nach Datum, zu speichern.
Für das E-Mail-Digest habe ich eine einfache HTML-Zeichenkette in Python erstellt und die smtplib-Bibliothek verwendet. Für Slack ist es sogar noch einfacher mit ihren eingehenden Webhooks.
import json
import requests
def send_slack_notification(webhook_url, message):
payload = {
"text": message
}
try:
response = requests.post(webhook_url, json=payload)
response.raise_for_status()
print("Slack-Benachrichtigung erfolgreich gesendet.")
except requests.exceptions.RequestException as e:
print(f"Fehler beim Senden der Slack-Benachrichtigung: {e}")
# Beispiel zur Verwendung (nach LLM-Verarbeitung):
# if "relevance score: 5" in llm_analysis.lower(): # Einfache Überprüfung
# slack_message = f"🚨 HOHE RELEVANZ-ALARM: {article_title}\n\n{llm_analysis}\n\nWeiter lesen: {article_link}"
# slack_webhook = "YOUR_SLACK_WEBHOOK_URL"
# send_slack_notification(slack_webhook, slack_message)
Meine Lehren und was ich gelernt habe
Clawdette zu erstellen war nicht einfach ein lustiges Projekt; es hat wirklich meine Herangehensweise an Informationen verändert. Hier sind meine wichtigsten Erkenntnisse:
- Spezifität ist entscheidend: Je gezielter die Aufgabe Ihres Agents und je präziser Ihre Anweisungen sind, desto besser wird er arbeiten. Ein allgemeiner Agent, der „alles sucht“, riskiert überwältigt zu werden und schlecht zu funktionieren.
- Iterieren Sie über die Anweisungen: Meine ersten Anweisungen für Clawdette waren bei weitem nicht so gut wie die, die ich oben geteilt habe. Ich habe sie über mehrere Tage hinweg verfeinert, die Ergebnisse beobachtet und die Anweisungen angepasst, bis ich genau das erreicht habe, was ich wollte. Betrachten Sie die Anweisungsentwicklung wie eine Lehre, nicht nur als eine Bitte.
- Fehlerverwaltung ist entscheidend: Websites ändern sich, APIs fallen aus, das Internet hat Unwägbarkeiten. Integrieren Sie eine solide Fehlerverwaltung für Ihre Scraper und API-Aufrufe, sonst wird Ihr Agent ständig abstürzen.
- Fangen Sie klein an, erweitern Sie später: Versuchen Sie nicht, die ultimative KI sofort am ersten Tag zu erstellen. Beginnen Sie mit einer einzelnen, machbaren Aufgabe, richten Sie sie zuverlässig ein und fügen Sie dann Funktionen hinzu. Meine erste Version von Clawdette hat nur Artikel zusammengefasst; die Filterung nach Relevanz kam später.
- Es ist ein Werkzeug, kein Ersatz: Clawdette denkt nicht für mich. Sie erledigt die Auswahl und Zusammenfassung und ermöglicht es mir, meine wertvolle mentale Energie der Analyse, Synthese und dem Verständnis der *wichtigsten* Informationen zu widmen. Sie hat meinen Arbeitsablauf verbessert, aber nicht meine Intelligenz automatisiert.
Die Schönheit beim Bau eines eigenen Agents auf diese Weise ist die Kontrolle, die Sie haben. Sie entscheiden über die Quellen, die Filterkriterien und das Ausgabeformat. Sie sind nicht den Algorithmen anderer oder deren Vorstellung davon, was relevant ist, ausgeliefert.
Wenn Sie also von Informationen überwältigt sind, unter Druck stehen, Schritt zu halten, oder einfach nur neugierig darauf sind, was diese KI-Agenten *wirklich* können, ermutige ich Sie dringend, ein spezifisches Problem auszuwählen und zu versuchen, einen einfachen Agenten zu erstellen, um es zu lösen. Es ist eine großartige Möglichkeit zu lernen, und Sie könnten eine Ihrer eigenen hartnäckigen Herausforderungen lösen.
Bis zum nächsten Mal, bahnen Sie sich einen Weg zu intelligenterer Technologie!
Verwandte Artikel
- Einsatz von KI-Agenten für kleine Unternehmen
- Mein Kampf mit dem Start von KI-Agenten: Überwindung der Überwältigung
- Beste Strategien für den Erfolg von KI-Workflows
🕒 Published: