Cloudflare lässt KI-Crawler auflaufen, wenn nicht für Scraping bezahlt wird
Webseiten können nun von Cloudflare standardmäßig vor Crawler-Zugriffen geschützt werden. KI-Firmen können Betreiber aber auch für Content-Scraping bezahlen.

heise security News
News von Heise
https://www.heise.de/news/Cloudflare-laesst-KI-Crawler-auflaufen-wenn-nicht-fuer-Scraping-bezahlt-wird-10467015.html