Startseite > Lexikon > SEO > Web Scraping

Bleistiftskizze: Ein Greifarm zieht einen orange markierten Textblock aus einer Webseite, im Korb liegen weitere, als Bild für Web Scraping
SEO

Web Scraping

Preise der Konkurrenz, Suchergebnisse, ganze Texte: Was im Netz steht, lässt sich automatisch abgreifen. Web Scraping ist praktisch, rechtlich aber kein Selbstbedienungsladen.

Auch bekannt alsWeb-ScrapingScreen ScrapingData Scraping

6 Min

Lesezeit

14.11.2026

Letzte Aktualisierung

Was ist Web Scraping?

Beim Web Scraping liest ein Programm Websites automatisch aus und speichert, was es braucht: Preise, Produktdaten, Suchergebnisse, Bewertungen oder ganze Texte. Was ein Mensch mit Kopieren und Einfügen täte, erledigt der Bot in Sekunden für tausende Seiten.

Der Unterschied zum Crawling: Ein Crawler wie der Googlebot folgt Links, um Seiten zu finden und in den Index aufzunehmen. Ein Scraper zieht gezielt Inhalte heraus. Oft ist der Crawler nur die Vorstufe des Scrapers.

Wofür Marketing Scraping nutzt

  • Rankings prüfen: SEO-Tools fragen Suchergebnisse automatisch ab, um Positionen zu verfolgen.
  • Preise beobachten: Shops lesen die Preise der Konkurrenz aus.
  • Inhalte analysieren: Screaming Frog liest mit eigenen Regeln Titel, Preise oder Schema-Daten aus vielen Seiten.
  • Leads sammeln: Kontaktdaten aus Profilen oder Verzeichnissen. Hier wird es rechtlich schnell heikel.

Die Kehrseite: Du bist nicht nur Nutzer, sondern auch Ziel. Laut Imperva kam 2024 erstmals mehr als die Hälfte des weltweiten Web-Traffics von Bots, nämlich 51 %. Schädliche Bots allein machten 37 % aus. Akamai nennt als Folgen von Scrapern im Handel langsamere Seiten, verfälschte Analytics-Zahlen und höhere Serverkosten.

Was in Deutschland erlaubt ist

Ein pauschales Verbot gibt es nicht. Drei Bereiche ziehen aber Grenzen:

  • Datenschutz: Sobald personenbezogene Daten dabei sind, gilt die DSGVO. Öffentlich sichtbar heißt nicht frei verwendbar.
  • Urheberrecht: Texte und Bilder sind geschützt. § 44b UrhG erlaubt Text und Data Mining, also die automatisierte Analyse von Werken. Der Rechteinhaber kann bei Online-Inhalten aber widersprechen, und zwar maschinenlesbar.
  • Wettbewerbsrecht: Der BGH erlaubte 2014 einem Flugportal, Ryanair-Daten auszulesen (Az. I ZR 224/12). Ein Verbot in den AGB allein reichte nicht. Wer technische Schutzmaßnahmen überwindet, bewegt sich aber auf dünnem Eis.

Wie teuer Scraping für den Betroffenen werden kann, zeigt Facebook. Über die Kontakt-Import-Funktion wurden Daten von rund 533 Millionen Nutzern abgegriffen. Die irische Datenschutzbehörde verhängte 2022 deswegen 265 Millionen Euro Bußgeld gegen Meta. Der BGH entschied 2024, dass schon der kurze Kontrollverlust über die eigenen Daten ein Schaden sein kann (Az. VI ZR 10/24).

Beispiele aus der Praxis

Case A · KI-Crawler

Wie viel KI-Bots holen und wie wenig sie zurückschicken

38.066

Crawls je Besuch, Anthropic

5,4

Crawls je Besuch, Google

Rund 80 % des KI-Crawlings dient dem Training

Cloudflare-Radar-Daten, Juli 2025. Gezählt sind Besuche, die aus KI-Antworten zurück auf Nachrichtenseiten kamen.

Case B · Datenleck

Facebook-Scraping über die Kontaktsuche

533 Mio.

betroffene Nutzer

265 Mio. €

Bußgeld der DPC 2022

Verstoß gegen Art. 25 DSGVO

Gerügt wurde der fehlende Schutz durch Technikgestaltung, also dass Meta das Abgreifen zu leicht machte.

Fall B ist die Lehre für jede Website mit Nutzerprofilen: Wer Daten anbietet, muss sie auch gegen massenhaftes Auslesen absichern.

Häufige Fehler

Fehler 1 · Öffentlich mit erlaubt verwechseln

Ein Name im Impressum ist öffentlich, aber trotzdem personenbezogen. Wer Kontaktdaten scrapt und für Werbung nutzt, braucht eine Rechtsgrundlage nach DSGVO.

Fehler 2 · Auf robots.txt als Schutz vertrauen

Die robots.txt ist eine Bitte, keine Sperre. Google sagt selbst, andere Crawler hielten sich womöglich nicht daran. Schutz bieten erst Rate Limits, Bot-Management oder ein Login.

Fehler 3 · Google selbst scrapen

Automatisierte Abfragen an die Google-Suche verstoßen gegen Googles Spam-Richtlinien, ausdrücklich auch Rank-Checks ohne Erlaubnis. Im Dezember 2025 hat Google den SERP-Anbieter SerpApi in den USA verklagt. Nutz für Rankings lieber etablierte Tools wie SISTRIX, Semrush oder Ahrefs.

Fehler 4 · Kopierte Texte veröffentlichen

Fremde Inhalte ohne Mehrwert neu zu hosten, wertet Google als Spam. Das kann bis zur manuellen Maßnahme gehen, neben dem Ärger mit dem Urheber.

So schützt du deine Website

  • KI-Training steuern: In der robots.txt sperrst du einzelne Bots wie GPTBot oder Google-Extended. Google-Extended beeinflusst laut Google weder Aufnahme in die Suche noch Ranking.
  • Bot-Schutz einschalten: Cloudflare blockt KI-Crawler seit Juli 2025 standardmäßig. Für WordPress bringt Wordfence Rate Limiting mit.
  • Nutzungsvorbehalt maschinenlesbar setzen: Ein Satz im Impressum reicht für § 44b UrhG womöglich nicht. Ergänze robots.txt-Regeln für die KI-Bots.
  • Analytics sauber halten: Filter Bot-Traffic heraus, sonst rechnest du mit falschen Zahlen.

Häufige Fragen

Ist Web Scraping in Deutschland legal?

Es ist nicht grundsätzlich verboten. Grenzen ziehen DSGVO, Urheberrecht und Wettbewerbsrecht. Sobald personenbezogene Daten oder geschützte Texte und Bilder dabei sind, brauchst du eine Rechtsgrundlage oder eine Schranke wie § 44b UrhG.

Darf ich die Preise meiner Wettbewerber automatisch auslesen?

Reine Preise sind meist keine personenbezogenen Daten und kein geschütztes Werk. Der BGH sah 2014 im Ryanair-Fall kein unlauteres Verhalten, solange keine technischen Sperren überwunden werden. Prüf trotzdem die Nutzungsbedingungen und lass im Zweifel beraten.

Reicht robots.txt, um KI-Training mit meinen Texten zu verhindern?

Seriöse Anbieter wie OpenAI und Google halten sich an Sperren für ihre Bots. Eine echte technische Sperre ist robots.txt aber nicht. Wer sicher gehen will, kombiniert sie mit Bot-Schutz beim Hoster oder CDN.

Was ist der Unterschied zwischen Scraping, Crawling und einer API?

Crawling findet Seiten über Links. Scraping zieht gezielt Inhalte aus Seiten heraus. Eine API ist ein vom Anbieter freigegebener Zugang zu strukturierten Daten, mit Schlüssel und Regeln.

Was tue ich, wenn jemand meine Inhalte kopiert?

Sichere Belege mit Datum und Adresse. Dann kannst du den Betreiber abmahnen lassen oder bei Google eine Entfernung wegen Urheberrechtsverletzung beantragen.

Begriff teilenHat dir die Definition geholfen? Schick sie weiter.