Comment bloquer les crawlers IA qui pillent votre site sans vous demander la permission ?
Vous en avez marre de voir GPTBot, ClaudeBot et toute la bande de crawlers IA se servir sur votre site comme dans un buffet à volonté ? Perso, j’utilise Cloudflare qui propose des options pour ça directement mais tout le monde n’utilise pas ce service. Du coup ce projet ai.robots.txt...