Comment bloquer les mauvais robots en utilisant .htaccess
- 3597
- 776
- Zoe Dupuis
Si vous êtes propriétaire d'un site Web, vous êtes probablement bien conscient de l'importance de l'optimisation des moteurs de recherche (SEO). Cependant, ce que de nombreux propriétaires de sites Web ne réalisent pas, c'est qu'il y a des bots qui rampent Internet qui peuvent nuire au référencement et aux fonctionnalités globales de votre site. Les mauvais robots peuvent nuire à votre site de diverses manières, comme le grattage de votre contenu, le spam de vos formulaires et même la réalisation d'attaques DDOS.
Dans cet article, nous discuterons de la façon dont vous pouvez utiliser .HTACCESS pour empêcher les mauvais robots d'accéder à votre site.
Identifier les mauvais robots
Avant de pouvoir bloquer les mauvais robots, vous devez savoir lesquels cibler. Il existe de nombreux outils disponibles qui peuvent vous aider à identifier les robots qui accèdent à votre site. Google Analytics, par exemple, peut vous montrer quels robots accèdent à votre site, à quelle fréquence ils le font et quelles pages ils visitent.
Une fois que vous avez identifié les robots que vous souhaitez bloquer, vous pouvez utiliser .htaccess pour créer une liste noire d'agents utilisateur. Un agent utilisateur est une chaîne que les robots utilisent pour s'identifier sur votre site. Par exemple, Googlebot s'identifie avec la chaîne d'agent utilisateur "Googlebot."
Créer une liste noire
Pour créer une liste noire d'agents utilisateur, vous pouvez utiliser le code suivant dans votre .Fichier HTACCESS:
RewriteEngine on rewriteCond% http_user_agent badbot1 [nc, ou] rewriteCond% http_user_agent badbot2 [nc, ou] rewriteCond% http_user_agent baDbot3 REWRITULE ^ (.*) $ - [f, l]| 12345 | RewriteEngine onwrewRiteCond% http_user_agent badbot1 [nc, ou] rewriteCond% http_user_agent badbot2 [nc, ou] rewritecond% http_user_agent badbot3writeule ^ (.*) $ - [f, l] |
Dans cet exemple, nous utilisons le Réécriture directive pour vérifier si le Http_user_agent L'en-tête correspond à l'un de nos mauvais robots. Si c'est le cas, nous utilisons la directive de réécriture pour retourner une erreur interdite 403.
Le NC Flag des moyens "aucun cas", ce qui signifie que le match est insensible à la casse. Le OU Le drapeau signifie que nous vérifions plusieurs conditions et le L Le drapeau signifie que c'est la dernière règle à être traitée.
Testez votre .fichier htaccess
Une fois que vous avez créé votre liste noire, il est important de tester votre .fichier htaccess pour s'assurer que cela fonctionne comme prévu. Vous pouvez utiliser des outils tels que les outils de webmaster de Google pour surveiller le trafic de votre site et vous assurer que les robots que vous ciblent sont bloqués.
Vous pouvez également utiliser un outil comme Bad Bot Blocker pour créer automatiquement une liste de mauvais robots à bloquer. Cet outil mettra automatiquement à jour votre .Fichier htaccess avec une liste de mauvais robots, ce qui facilite la protection de votre site contre les robots nocifs.
Conclusion
Bloquer les mauvais bots est une étape importante pour protéger votre site Web contre les attaques malveillantes. En utilisant .HTACCESS Pour créer une liste noire d'agents utilisateur, vous pouvez empêcher les robots nocifs d'accéder à votre site et d'améliorer sa sécurité globale. N'oubliez pas de surveiller régulièrement le trafic de votre site et de mettre à jour votre liste noire au besoin pour garder votre site protégé.