เทคนิคการป้องกันไม่ให้คู่แข่งสปายเวปคุณ

ทคนิคง่ายๆ เพียงแค่ใส่คำสั่งเหล่านี้ลงไปใน “robots.txt”

User-agent: *
Disallow:

User-agent: rogerbot
Disallow: /

User-agent: exabot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: dotbot
Disallow: /

User-agent: gigabot
Disallow: /

User-agent: AhrefsBot
Disallow: /

คำสั่งเหล่านี้เป็นการบล๊อกบอท Tool ต่างๆ เช่น Ahrefs, SEOMoz, MajesticSEO

ที่จริงแล้วยังมีบอทมากกว่านี้ และเป็นบอทที่ไม่เป็นที่รู้จักอีกมากมาย การจะบล๊อกให้หมดนั้นจึงเป็นเรื่องยาก

หากคุณต้องการคัดกรองให้เหลือแต่บอทที่สำคัญจริงๆ คุณสามารถใช้คำสั่งได้ดังนี้

User-agent: googlebot
Allow:/

User-agent: msnbot
Allow:/

User-agent: slurp
Allow:/

User-agent: bingbot
Allow:/

User-agent: *
Disallow: /

บางกรณีจะใช้ robots.txt ไม่ได้ผล ต้องแก้ไขด้วยการใส่คำสั่งใน .htaccess

RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^rogerbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^exabot [OR]
RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} ^dotbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot
RewriteRule ^.* – [F,L]

เพียงแค่นี้คุณก็สามารถบล๊อกบอทที่ไม่จำเป็นได้แล้ว

Credit: VIP116