Was ist Web Scraping?
Beim Web Scraping liest ein Programm Websites automatisch aus und speichert, was es braucht: Preise, Produktdaten, Suchergebnisse, Bewertungen oder ganze Texte. Was ein Mensch mit Kopieren und Einfügen täte, erledigt der Bot in Sekunden für tausende Seiten.
Der Unterschied zum Crawling: Ein Crawler wie der Googlebot folgt Links, um Seiten zu finden und in den Index aufzunehmen. Ein Scraper zieht gezielt Inhalte heraus. Oft ist der Crawler nur die Vorstufe des Scrapers.
Wofür Marketing Scraping nutzt
- Rankings prüfen: SEO-Tools fragen Suchergebnisse automatisch ab, um Positionen zu verfolgen.
- Preise beobachten: Shops lesen die Preise der Konkurrenz aus.
- Inhalte analysieren: Screaming Frog liest mit eigenen Regeln Titel, Preise oder Schema-Daten aus vielen Seiten.
- Leads sammeln: Kontaktdaten aus Profilen oder Verzeichnissen. Hier wird es rechtlich schnell heikel.
Die Kehrseite: Du bist nicht nur Nutzer, sondern auch Ziel. Laut Imperva kam 2024 erstmals mehr als die Hälfte des weltweiten Web-Traffics von Bots, nämlich 51 %. Schädliche Bots allein machten 37 % aus. Akamai nennt als Folgen von Scrapern im Handel langsamere Seiten, verfälschte Analytics-Zahlen und höhere Serverkosten.
Was in Deutschland erlaubt ist
Ein pauschales Verbot gibt es nicht. Drei Bereiche ziehen aber Grenzen:
- Datenschutz: Sobald personenbezogene Daten dabei sind, gilt die DSGVO. Öffentlich sichtbar heißt nicht frei verwendbar.
- Urheberrecht: Texte und Bilder sind geschützt. § 44b UrhG erlaubt Text und Data Mining, also die automatisierte Analyse von Werken. Der Rechteinhaber kann bei Online-Inhalten aber widersprechen, und zwar maschinenlesbar.
- Wettbewerbsrecht: Der BGH erlaubte 2014 einem Flugportal, Ryanair-Daten auszulesen (Az. I ZR 224/12). Ein Verbot in den AGB allein reichte nicht. Wer technische Schutzmaßnahmen überwindet, bewegt sich aber auf dünnem Eis.
Wie teuer Scraping für den Betroffenen werden kann, zeigt Facebook. Über die Kontakt-Import-Funktion wurden Daten von rund 533 Millionen Nutzern abgegriffen. Die irische Datenschutzbehörde verhängte 2022 deswegen 265 Millionen Euro Bußgeld gegen Meta. Der BGH entschied 2024, dass schon der kurze Kontrollverlust über die eigenen Daten ein Schaden sein kann (Az. VI ZR 10/24).
Beispiele aus der Praxis
Case A · KI-Crawler
Wie viel KI-Bots holen und wie wenig sie zurückschicken
38.066
Crawls je Besuch, Anthropic
5,4
Crawls je Besuch, Google
Rund 80 % des KI-Crawlings dient dem Training
Cloudflare-Radar-Daten, Juli 2025. Gezählt sind Besuche, die aus KI-Antworten zurück auf Nachrichtenseiten kamen.
Case B · Datenleck
Facebook-Scraping über die Kontaktsuche
533 Mio.
betroffene Nutzer
265 Mio. €
Bußgeld der DPC 2022
Verstoß gegen Art. 25 DSGVO
Gerügt wurde der fehlende Schutz durch Technikgestaltung, also dass Meta das Abgreifen zu leicht machte.
Fall B ist die Lehre für jede Website mit Nutzerprofilen: Wer Daten anbietet, muss sie auch gegen massenhaftes Auslesen absichern.
Häufige Fehler
Fehler 1 · Öffentlich mit erlaubt verwechseln
Ein Name im Impressum ist öffentlich, aber trotzdem personenbezogen. Wer Kontaktdaten scrapt und für Werbung nutzt, braucht eine Rechtsgrundlage nach DSGVO.
Fehler 2 · Auf robots.txt als Schutz vertrauen
Die robots.txt ist eine Bitte, keine Sperre. Google sagt selbst, andere Crawler hielten sich womöglich nicht daran. Schutz bieten erst Rate Limits, Bot-Management oder ein Login.
Fehler 3 · Google selbst scrapen
Automatisierte Abfragen an die Google-Suche verstoßen gegen Googles Spam-Richtlinien, ausdrücklich auch Rank-Checks ohne Erlaubnis. Im Dezember 2025 hat Google den SERP-Anbieter SerpApi in den USA verklagt. Nutz für Rankings lieber etablierte Tools wie SISTRIX, Semrush oder Ahrefs.
Fehler 4 · Kopierte Texte veröffentlichen
Fremde Inhalte ohne Mehrwert neu zu hosten, wertet Google als Spam. Das kann bis zur manuellen Maßnahme gehen, neben dem Ärger mit dem Urheber.
So schützt du deine Website
- KI-Training steuern: In der robots.txt sperrst du einzelne Bots wie GPTBot oder Google-Extended. Google-Extended beeinflusst laut Google weder Aufnahme in die Suche noch Ranking.
- Bot-Schutz einschalten: Cloudflare blockt KI-Crawler seit Juli 2025 standardmäßig. Für WordPress bringt Wordfence Rate Limiting mit.
- Nutzungsvorbehalt maschinenlesbar setzen: Ein Satz im Impressum reicht für § 44b UrhG womöglich nicht. Ergänze robots.txt-Regeln für die KI-Bots.
- Analytics sauber halten: Filter Bot-Traffic heraus, sonst rechnest du mit falschen Zahlen.
Häufige Fragen
Ist Web Scraping in Deutschland legal?
Es ist nicht grundsätzlich verboten. Grenzen ziehen DSGVO, Urheberrecht und Wettbewerbsrecht. Sobald personenbezogene Daten oder geschützte Texte und Bilder dabei sind, brauchst du eine Rechtsgrundlage oder eine Schranke wie § 44b UrhG.
Darf ich die Preise meiner Wettbewerber automatisch auslesen?
Reine Preise sind meist keine personenbezogenen Daten und kein geschütztes Werk. Der BGH sah 2014 im Ryanair-Fall kein unlauteres Verhalten, solange keine technischen Sperren überwunden werden. Prüf trotzdem die Nutzungsbedingungen und lass im Zweifel beraten.
Reicht robots.txt, um KI-Training mit meinen Texten zu verhindern?
Was ist der Unterschied zwischen Scraping, Crawling und einer API?
Crawling findet Seiten über Links. Scraping zieht gezielt Inhalte aus Seiten heraus. Eine API ist ein vom Anbieter freigegebener Zugang zu strukturierten Daten, mit Schlüssel und Regeln.
Was tue ich, wenn jemand meine Inhalte kopiert?
Sichere Belege mit Datum und Adresse. Dann kannst du den Betreiber abmahnen lassen oder bei Google eine Entfernung wegen Urheberrechtsverletzung beantragen.
Quellen
- Google Search Central: Spam-Richtlinien
- Google Search Central: Einführung in robots.txt
- Google Search Central: Google-Crawler
- § 44b UrhG
- Bundesgerichtshof: Pressemitteilung zum Facebook-Scraping
- Irische Datenschutzbehörde: Entscheidung zum Facebook-Scraping
- Imperva: Bad Bot Report 2025
- Akamai: Scraping Away Your Bottom Line
- Cloudflare: The crawl-to-click gap
- Cloudflare: Content Independence Day