Diese Seite bietet einen Überblick über bekannte Bots, die deine Website aufrufen, einschließlich SQL-Injection-Scanner und Crawler. Du kannst den Zweck jedes Bots prüfen und entscheiden, ob du ihn je nach Bedarf deiner Website blockierst oder zulässt. SQL-Injection-Scanner sind Sicherheitstools, die oft für Angriffe genutzt werden und sollten zum Schutz deiner Seite sofort blockiert werden. Andere Crawler und Bots können je nach Serverkapazität, Relevanz und Zielgruppe selektiv blockiert werden.
Allgemeine Bot-Beschreibungen
Überblick über bekannte Bots, SQL-Injection-Scanner und Crawler.
Was sind Bots?
Bots (Abkürzung für „Robots“) sind automatisierte Programme, die Webseiten ohne menschliches Zutun besuchen. Sie senden HTTP-Anfragen wie normale Besucher, folgen Links, laden Inhalte oder suchen nach Schwachstellen.
Welche Arten von Bots gibt es?
| Kategorie | Beschreibung |
|---|---|
| Suchmaschinen-Bots | Crawlen Seiten für Google, Bing, Yandex usw. zur Indexierung. |
| SEO-/Backlink-Bots | Analysieren Seitenstrukturen, um Rankings oder Backlinks zu bewerten (z. B. Ahrefs, Semrush). |
| Monitoring-Bots | Prüfen die Erreichbarkeit deiner Website (z. B. UptimeRobot). |
| Sicherheits-Scanner | Suchen gezielt nach Schwachstellen (z. B. sqlmap, Acunetix, Nikto). |
| Scraper | Klauen Inhalte, Preise oder Daten durch automatisierten Zugriff. |
| Gefälschte Bots / Malware | Tarnen sich als echte Bots, führen aber Scans oder Angriffe durch. |
Warum sollte man manche Bots blockieren?
- Serverbelastung: Einige Bots erzeugen extrem viele Anfragen und verlangsamen deine Website.
- Datendiebstahl: Scraper kopieren automatisch deine Texte, Bilder oder Preise.
- Sicherheitsrisiko: SQL-Injection-Bots oder Exploit-Scanner versuchen, deine Seite zu hacken.
- Trafficverfälschung: Sie erzeugen falsche Besucherzahlen in Logs oder Analytics.
SQL-Injection-Scanner
| Bot-Name | Beschreibung | Empfehlung |
|---|---|---|
| sqlmap | Leistungsstarkes Open-Source-Tool für automatisierte SQL-Injection und Datenbankübernahme. | Ja – sofort blockieren |
| havij | Windows-basiertes GUI-Tool für SQL-Injection-Angriffe. Häufig von Amateuren genutzt. | Ja – sofort blockieren |
| acunetix | Kommerzieller Webseitenscanner, der auf SQL-Injection, XSS und mehr testet. | Ja – sofort blockieren |
| nikto | Kommandozeilen-Scanner, der über 6.000 Schwachstellen erkennt – inkl. SQLi. | Ja – sofort blockieren |
| zap | OWASP ZAP Scanner zur Erkennung von SQLi/XSS in Penetrationstests. | Ja – sofort blockieren |
| netsparker | Professioneller Sicherheitsscanner, erkennt SQL-Injection und andere Schwachstellen. | Ja – sofort blockieren |
| w3af | Angriffs-Framework für Webanwendungen – enthält SQL-Injection-Module. | Ja – sofort blockieren |
| arachni | Framework zur automatisierten Erkennung von SQLi und XSS. | Ja – sofort blockieren |
| commix | Spezialisiertes Tool zur Erkennung von Command- und SQL-Injection. | Ja – sofort blockieren |
| webinspect | Enterprise-Sicherheitsscanner von Micro Focus – enthält aggressive SQLi-Tests. | Ja – sofort blockieren |
| jSQL | Java-basierter SQL-Injection-Scanner, einfach zu bedienen und oft missbraucht. | Ja – sofort blockieren |
Weitere Crawler und Bots
| Bot-Name | Beschreibung | Empfehlung |
|---|---|---|
| SemrushBot | SEO-Crawler von Semrush. Sehr aktiv und erzeugt hohe Serverlast. | Ja – Blockierung empfohlen |
| AhrefsBot | Backlink-Crawler von Ahrefs. Sehr aktiv, oft ohne Nutzen. | Ja – Blockierung empfohlen |
| MJ12bot | Linkanalyse durch Majestic. Verursacht oft hohe Serverlast. | Ja – Blockierung empfohlen |
| DotBot | Unklarer Crawler, vermutlich Moz. Oft ohne echten Mehrwert. | Ja – Blockierung empfohlen |
| Sogou | Crawler von Sogou. Vor allem in Asien aktiv. | Ja – Blockierung empfohlen |
| ZoominfoBot | Crawler von ZoomInfo zur Datensammlung für Firmenprofile. | Ja – Blockierung empfohlen |
| DotNetDotCom | Wenig dokumentierter Bot mit auffälligem Traffic-Verhalten. | Ja – Blockierung empfohlen |
| AspiegelBot | Bot von Huaweis Aspiegel-Plattform. Teils aggressives Crawling. | Ja – Blockierung empfohlen |
| SEOkicks-Robot | Deutscher SEO-Crawler zur Linkanalyse. Belastet Server spürbar. | Ja – Blockierung empfohlen |
| libwww-perl | Technische Bibliothek, oft missbraucht für automatisierte Anfragen. | Ja – Blockierung empfohlen |
| SiteExplorer | Veralteter Bot von Yahoo oder alternativen Quellen. | Ja – Blockierung empfohlen |
| BUbiNG | Open-Source-Crawler mit hoher Parallelität – kann Server stark belasten. | Ja – Blockierung empfohlen |
| masscan | Schneller Portscanner, oft für Sicherheits- oder Schwachstellen-Scans. | Ja – Blockierung empfohlen |
| scrapy | Python-Web-Scraping-Framework, häufig von Bots verwendet. | Ja – Blockierung empfohlen |
| crawler | Allgemeiner Begriff. Viele Bots nutzen diesen Bestandteil. | Selektive Blockierung empfohlen |
| spider | Wie "crawler" – Begriff in vielen Bot-Namen enthalten. | Selektive Blockierung empfohlen |
| curl | Command-line tool. Häufig für automatisierte Seitenaufrufe verwendet. | Selektive Blockierung empfohlen |
| wget | Tool zur Skriptgesteuerten Inhaltserfassung. Kann Seiteninhalte direkt laden. | Selektive Blockierung empfohlen |
| python | Allgemeiner User-Agent für eigene Python-Skripte. | Selektive Blockierung empfohlen |
| python-requests | Automatisierungs-Tool für HTTP-Anfragen. Oft bei Scraping verwendet. | Selektive Blockierung empfohlen |
| PetalBot | Crawler von Huawei (Petal Search). Relevanz meist gering. | Optional – je nach Zielgruppe |
| YandexBot | Russischer Suchmaschinenbot. Nicht immer relevant. | Optional – je nach Zielgruppe |
| Baiduspider | Chinesischer Suchmaschinenbot. Oft außerhalb der Zielgruppe. | Optional – je nach Zielgruppe |
| SeznamBot | Tschechischer Suchmaschinenbot von Seznam. | Optional – je nach Zielgruppe |
| UptimeRobot | Monitoring-Dienst zur Verfügbarkeitsprüfung von Websites. Unkritisch. | Optional – je nach Zielgruppe |
Suchmaschinen-Bots
| Bot-Name | Beschreibung | Empfehlung |
|---|---|---|
| Googlebot | Crawler von Google zur Indexierung von Webseiten und Bildern. | Erlauben – wichtig für Sichtbarkeit |
| Googlebot-Image | Googles Bild-Crawler – indexiert Bilder für die Google-Bildersuche. | Erlauben – wenn Bildsuche gewünscht ist |
| Bingbot | Microsofts Haupt-Crawler für Bing-Suchergebnisse. | Erlauben – falls Bing für Ihre Zielgruppe relevant ist |
| Slurp | Veralteter Crawler von Yahoo, manchmal inaktiv aber noch sichtbar. | Optional – je nach Zielmarkt |
| DuckDuckBot | Bot von DuckDuckGo, einer datenschutzfreundlichen Suchmaschine. | Erlauben – geringe Auswirkung, datenschutzfreundlich |
| Baiduspider | Crawler von Baidu (führende Suchmaschine in China). | Optional – nur relevant für chinesischen Markt |
| YandexBot | Crawler von Yandex (russische Suchmaschine). | Optional – nur bei russischer Zielgruppe |
| Sogou Spider | Bot einer chinesischen Suchmaschine mit aggressivem Verhalten. | Optional – kann hohe Serverlast verursachen |
| Exabot | Französischer Suchmaschinen-Bot – geringe Sichtbarkeit. | Optional – selten nützlich |
| PetalBot | Bot von Huaweis Petal-Suchmaschine. | Optional – abhängig von Ihrer Zielregion |
| Amazonbot | Bot von Amazon, genutzt für Alexa und produktspezifische Inhalte. | Blockieren – für die meisten Seiten nicht relevant |
| Gigabot | Crawler von Gigablast, einer kleinen Suchmaschine. | Optional – selten erforderlich |
| MojeekBot | Crawler von Mojeek, einer unabhängigen, datenschutzorientierten Suchmaschine. | Optional – kaum Auswirkungen |
| Qwantify | Crawler von Qwant, einer französischen Suchmaschine mit Fokus auf Datenschutz. | Erlauben – optional |
| SeznamBot | Bot von Seznam (tschechische Suchmaschine). | Optional – bei tschechischer Zielgruppe |