この記事を読むのに必要な時間は約 5 分です。
- お越しにならないで結構です。
- 迷惑なbotたちにお仕置き（robot.txt .htaccsessは使わない）
- AhrefsBot/7.0; +http://ahrefs.com/robot/
- SemrushBot/7~bl; +http://www.semrush.com/bot.html
- DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com
- proximic; +https://www.comscore.com/Web-Crawler
- GrapeshotCrawler/2.0; +http://www.grapeshot.co.uk/crawler.php
- DataForSeoBot/1.0; +https://dataforseo.com/dataforseo-bot
- botのアクセス許否
お越しにならないで結構です。
迷惑なbotたちにお仕置き（robot.txt .htaccsessは使わない）
此方の記事に書いている通り、
少し度が過ぎるアクセスに対して対策を講じました。
本来なら.htaccsessなり、robot.txtを使えば良いのかもしれませんが、まぁ少し技術的な対応と行こうではではありませんか
しかし、書いてしまうと対策が取られてしまいますので、どのように判定してどのように対策を講じたかは申し訳ありませんが、内緒です。
迷惑な子たちのご紹介です。
AhrefsBot/7.0; +http://ahrefs.com/robot/
５分に一回程度でのアクセスです。
まぁかわいらしい方ではありますが、毎日来られると気になります。
SEOのどうしたこうしたをする会社の様ですが、迷惑です。
来ていただかなくて結構です。
SemrushBot/7~bl; +http://www.semrush.com/bot.html
酷い時は30秒に一回程度お越しになっているようで、本当にうざいです。
お越しにならなくて結構です。
DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com
酷い時は10秒に一回程度お越しになっているようで、それって攻撃と一緒ですよ？
レベルで来ていただいておりました。
こちら、moz.comが運営されているようで、以前お世話になっておりました。
しかし、度が過ぎます。
来ていただかなくて結構です。
proximic; +https://www.comscore.com/Web-Crawler
30分に一回程度来ていただいております。
目くじらを立てるほどではありませんが、この際、バイバイしたいと思います。
来ていただかなくて結構です。
GrapeshotCrawler/2.0; +http://www.grapeshot.co.uk/crawler.php
酷い時は１秒に１回お伺いして頂いておりました。
来ないでください。
こちら、天下のOracleです。
ん～・・・・・・
もう少しわきまえてください。
DataForSeoBot/1.0; +https://dataforseo.com/dataforseo-bot
目立たない程度ですが、それなりに遊びに来ていらっしゃったようで。
申し訳ありませんが、来ていただかなくて結構です。
botのアクセス許否
ということで、本来なら「こんなかんじでやりましたー！」的な紹介をした方が良いのでしょうか、
対策を講じられると困るので、今回は対象までの紹介です。
botのアクセスはわかりやすいものと、悪質な物があります。
わかりやすい物はユーザーエージェントに自信が何者なのかを乗っけてきます。わかりにくい物は、普通の携帯電話からのアクセスのように偽造してきます。
しかし、偽造している物も90%近くは見抜けていると思います。
それぐらい、機械的なアクセスとは、機械的なアクセスログが残る物です。
インターネットの発達にクローラーが一躍買っているのは間違いないですが、1時間に１回以上のアクセスはもう、攻撃と言われても仕方ないです。
もう少し節度を持って欲しいものです。
