Découvrez nos derniers articles sur le développement web, le design et les technologies digitales qui façonnent l'avenir
Si vous avez un site, vous savez déjà qu'il faut l'optimiser et le rendre lisible pour Google. Mais en ce moment, Cloudflare pousse vraiment une toute autre couche par-dessus : le rendre lisible pour les agents IA. Et pour vérifier si vous êtes dans les clous, l'équipe a sorti isitagentready.com ,...
Vous en avez marre de voir GPTBot, ClaudeBot et toute la bande de crawlers IA se servir sur votre site comme dans un buffet à volonté ? Perso, j’utilise Cloudflare qui propose des options pour ça directement mais tout le monde n’utilise pas ce service. Du coup ce projet ai.robots.txt...
On vit une époque formidable (non), car d’un côté, 5,6 millions de sites web bloquent maintenant le GPTBot d’OpenAI , 5,8 millions bloquent ClaudeBot alors que de l’autre côté, ce sont 13,26% des bots IA qui se contrefoutent royalement des robots.txt . Les webmasters sont tous en...