悪質・迷惑なbotの対応【アクセス拒否】
サジェストキーワード設定
TwitterBot

ツイッターbot作成

作成

悪質・迷惑なbotの対応【アクセス拒否】

この記事を読むのに必要な時間は約 5 分です。

お越しにならないで結構です。

迷惑なbotたちにお仕置き(robot.txt .htaccsessは使わない)

此方の記事に書いている通り、

少し度が過ぎるアクセスに対して対策を講じました。

TwitterRankingバージョンアップ
何代目か忘れましたが7代目ぐらいです。 TwitterRankingですが、バージョンアップしました。 まだ、エラーなり、おかしな挙動があるかもしれませんが、更改優先で、新バージョンに切り替え...

 

本来なら.htaccsessなり、robot.txtを使えば良いのかもしれませんが、まぁ少し技術的な対応と行こうではではありませんか

しかし、書いてしまうと対策が取られてしまいますので、どのように判定してどのように対策を講じたかは申し訳ありませんが、内緒です。

迷惑な子たちのご紹介です。

AhrefsBot/7.0; +http://ahrefs.com/robot/

5分に一回程度でのアクセスです。

まぁかわいらしい方ではありますが、毎日来られると気になります。

Ahrefs - SEO Tools & Resources To Grow Your Search Traffic
You don't have to be an SEO pro to rank higher and get more traffic. Join Ahrefs – we're a powerful but easy to learn SEO toolset with a passionate community.

SEOのどうしたこうしたをする会社の様ですが、迷惑です。

来ていただかなくて結構です。

SemrushBot/7~bl; +http://www.semrush.com/bot.html

酷い時は30秒に一回程度お越しになっているようで、本当にうざいです。

お越しにならなくて結構です。

Semrush - Online Marketing Can Be Easy
Turn the algorithm into a friend. Make your business visible online with 55+ tools for SEO, PPC, content, social media, competitive research, and more.

DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com

酷い時は10秒に一回程度お越しになっているようで、それって攻撃と一緒ですよ?

レベルで来ていただいておりました。

こちら、moz.comが運営されているようで、以前お世話になっておりました。

しかし、度が過ぎます。

来ていただかなくて結構です。

proximic; +https://www.comscore.com/Web-Crawler

30分に一回程度来ていただいております。

目くじらを立てるほどではありませんが、この際、バイバイしたいと思います。

来ていただかなくて結構です。

GrapeshotCrawler/2.0; +http://www.grapeshot.co.uk/crawler.php

酷い時は1秒に1回お伺いして頂いておりました。

来ないでください。

こちら、天下のOracleです。

ん~・・・・・・

もう少しわきまえてください。

DataForSeoBot/1.0; +https://dataforseo.com/dataforseo-bot

目立たない程度ですが、それなりに遊びに来ていらっしゃったようで。

申し訳ありませんが、来ていただかなくて結構です。

 

 

botのアクセス許否

ということで、本来なら「こんなかんじでやりましたー!」的な紹介をした方が良いのでしょうか、

対策を講じられると困るので、今回は対象までの紹介です。

botのアクセスはわかりやすいものと、悪質な物があります。

わかりやすい物はユーザーエージェントに自信が何者なのかを乗っけてきます。わかりにくい物は、普通の携帯電話からのアクセスのように偽造してきます。

しかし、偽造している物も90%近くは見抜けていると思います。

それぐらい、機械的なアクセスとは、機械的なアクセスログが残る物です。

インターネットの発達にクローラーが一躍買っているのは間違いないですが、1時間に1回以上のアクセスはもう、攻撃と言われても仕方ないです。

もう少し節度を持って欲しいものです。

 

 

 

 

 

 

 

タイトルとURLをコピーしました