AI Bot Log Parser

Unser AI Bot Checker prüft, ob KI-Crawler Ihre Seite indexieren dürften – also was robots.txt und Meta-Robots erlauben. Was er nicht beantwortet: welche Bots tatsächlich vorbeischauen, wie oft und welche Inhalte sie favorisieren. Diese Information liegt in Ihren Server-Access-Logs.

Der KI-Bot-Log-Parser schließt diese Lücke. Sie fügen einen Ausschnitt Ihres Apache- oder Nginx-Access-Logs in das Tool ein, und es wertet die Treffer pro Bot aus – mit Diagramm, Tabelle und Top-URLs pro Bot. Das Log verlässt dabei niemals Ihren Browser. Die Auswertung läuft komplett lokal in JavaScript.

So funktioniert der KI-Bot-Log-Parser

1. Log-Ausschnitt einfügen: Kopieren Sie ein paar tausend Zeilen aus Ihrem Access-Log (häufig unter /var/log/apache2/access.log, /var/log/nginx/access.log oder im Hosting-Panel als „Rohzugriff“) und fügen Sie sie in das Textfeld ein.
2. Beispiel laden: Falls Sie kein Log zur Hand haben, klicken Sie auf „Beispiel-Log laden“ – das Tool füllt 30 synthetische Zeilen ein, mit denen Sie das Ergebnis sofort sehen.
3. Analysieren: Klick auf „Log analysieren“. Bei großen Logs (über 5.000 Zeilen) zeigt eine Fortschrittsleiste den Stand der Verarbeitung.
4. Auswertung lesen: Sie erhalten eine Übersicht (Anzahl Zeilen, Bot-Treffer, Zeitraum, Top-Vendor), ein Diagramm mit der Verteilung pro Hersteller, eine sortierte Tabelle pro Bot und ausklappbar die meistgerufenen URLs jedes Bots.
5. Exportieren: Über „CSV exportieren“ können Sie die Auswertung herunterladen, um sie z. B. in eine Tabelle für Reporting zu übernehmen.

Welche Bots werden erkannt?

• KI-Bots (31 Stück) aus der gemeinsamen Datenbank des AI Bot Checkers: GPTBot & ChatGPT-User (OpenAI), ClaudeBot (Anthropic), PerplexityBot (Perplexity), CCBot (Common Crawl), Google-Extended (Google), Bytespider (ByteDance), Applebot-Extended, Meta-ExternalAgent – und viele mehr.
• Such-Bots als Vergleichsgröße: Googlebot, Bingbot, DuckDuckBot, Applebot, YandexBot, Baiduspider. So sehen Sie auf einen Blick, in welchem Verhältnis die KI-Crawler zu Ihrem „normalen“ Suchmaschinen-Traffic stehen.

Welche Log-Formate werden unterstützt?

• Apache Combined Log Format (Standard): IP - - [datum] "GET /pfad HTTP/1.1" 200 1234 "referer" "user-agent"
• Nginx Default Log Format (gleiche Struktur): wird automatisch erkannt
• Zeilen ohne User-Agent-Feld (Apache Common) werden übersprungen, weil Bot-Erkennung darauf nicht möglich ist
• Fehlerhafte Zeilen werden still ignoriert, ein Counter zählt nur die erfolgreich geparsten Zeilen

Änderungsprotokoll

• Erste Version des KI-Bot-Log-Parsers veröffentlicht
• Erkennt 31 KI-Bots aus der Datenbank des AI Bot Checkers plus 6 große Such-Bots als Vergleichsgröße
• Auswertung mit Hersteller-Diagramm (Doughnut), pro-Bot-Tabelle, ausklappbarer Top-URL-Liste, Status-Code-Badges (2xx/3xx/4xx/5xx) und CSV-Export
• Reine Browser-Verarbeitung – Logs werden nirgendwohin hochgeladen

Hintergrund: Wofür ist die Auswertung gut?

1. Realitätsabgleich gegen die Konfiguration

Ihr robots.txt mag den GPTBot zulassen – aber kommt er auch wirklich? Oder kommt er viel öfter, als Sie dachten? Der Log-Parser zeigt Ihnen Fakten, nicht Theorie.

2. Welche Inhalte interessieren KI-Crawler?

Die Top-URL-Liste pro Bot zeigt, welche Ihrer Seiten von ChatGPT, Claude oder Perplexity aktiv abgerufen werden. Diese Inhalte landen mit hoher Wahrscheinlichkeit in den KI-Antworten zu Ihrem Themengebiet – ein wertvolles Signal für Ihre Content-Strategie im GEO-Zeitalter (Generative Engine Optimization).

3. Bandbreitenkosten und Server-Last verstehen

KI-Crawler können sehr aggressiv crawlen. Wenn ein Bot fünfstellige Anfragen pro Tag stellt, lohnt sich ein Blick in die Crawl-Frequenz und ggf. ein Crawl-delay-Eintrag in der robots.txt oder eine WAF-Regel.

4. Probleme erkennen

Status-Code-Badges zeigen, ob ein Bot überproportional viele 4xx oder 5xx erhält. Häuft sich das, sind Ihre KI-relevanten Inhalte vielleicht für die Crawler kaputt – und die KI-Antworten basieren dann auf unvollständigen oder veralteten Daten.

Häufig gestellte Fragen

Werden meine Log-Daten irgendwo hochgeladen?

Nein. Die gesamte Verarbeitung geschieht in Ihrem Browser via JavaScript. Es gibt keine AJAX-Aufrufe, keine Server-Übermittlung, kein Caching. Sie können das gerne in den Entwicklertools im Reiter „Netzwerk“ beobachten: während der Analyse passiert dort nichts.

Wie groß darf das Log sein?

Das Tool kommt problemlos mit mehreren hunderttausend Zeilen klar – verarbeitet wird in Häppchen, damit der Browser nicht einfriert. Bei Logs jenseits von ~5 MB Text empfiehlt sich, einen kleineren Zeitraum zu wählen (z. B. die letzten 24 Stunden), weil die Auswertung sonst ein paar Sekunden dauert.

Warum keine Datei-Upload-Funktion?

Bewusst weggelassen für Version 1, um den Privatsphäre-Versprechen so klar wie möglich zu halten: copy & paste ist transparent, ein Datei-Upload würde optisch einen Server-Anschein erwecken (auch wenn die Datei lokal verarbeitet würde). Der Datei-Upload steht für eine spätere Version auf der Liste.

Was, wenn ein Bot in der Liste fehlt?

Die Bot-Liste ist identisch mit der unseres AI Bot Checkers. Aktualisierungen erfolgen dort zentral, sodass beide Tools immer denselben Stand haben. Falls ein neuer KI-Bot auftaucht, melden Sie ihn gerne – er wird mit dem nächsten Update berücksichtigt.

Werden Bots erkannt, die ihren User-Agent fälschen?

Nein. Das Tool prüft den im Log eingetragenen User-Agent-String. Wenn ein Scraper sich als Browser ausgibt, wird er nicht als Bot erkannt. Eine Reverse-DNS-Validierung gegen offizielle IP-Bereiche der Bot-Betreiber ist für eine spätere Version geplant.

Wie unterscheidet sich dieses Tool vom AI Bot Checker?

Der AI Bot Checker beantwortet die Konfigurations-Frage: dürfen die 31 bekannten KI-Bots laut robots.txt und Meta-Robots auf Ihre Seite? Der KI-Bot-Log-Parser beantwortet die Realitäts-Frage: welche Bots kommen tatsächlich, wie oft und auf welche URLs? Beide Tools ergänzen sich.

Funktioniert das auch mit IIS- oder anderen Webserver-Logs?

Apache Combined und Nginx Default werden nativ unterstützt. IIS-Standard-Logs haben ein anderes Format mit Tabulator-Trennung und einer Header-Zeile – hier müssten Sie das Log vorher konvertieren oder warten, bis IIS-Support nachgereicht wird.