どのように読ま！守るために反対ヤフー
私はと呼ばれるクローラヤフーれたログ行くを介してサーバーの私のWebの使用された最後の％は合計22.93がなんと参照してくださいショックを受けたし、先月、私のサイトの帯域幅、特定の吸い込み（私は与えられた良い必要がある知られている暴露名）。
これは特に考慮という事実を、Yahooはウェブサイトへの訪問者は無視番号を送信てばかげている。
検索エンジンの市場シェアはヤフーとにかくダウンしている来て-それは現在％であるの6.84。 私のサイトのほとんどは、Yahoo全トラフィックの4％以上を送信しないために。 これは、私はYahooのプラグを抜く必要があることを意味！当分の間、吸い込みのフリーラン。
どのようヤフーを行うには私はやめなさい！クローラ？
作成はそれのテキストの次の行でWebサイトのルートフォルダでrobots.txtという名前のファイル：
のUser - Agent：吸い込み
禁止：/
のUser - Agent：*
禁止：
あなたは完全にYahooのクローラがブロックさしたくない場合は、単に要求の吸い込みは、サーバーに送信する量を減らすことができます。 あなたのrobot.txtファイルで、この使用を次の行を行うには：
ユーザーエージェント：吸い込み
クロール遅延：1
この"遅延値は、"連続ヤフーの間で時間が長くなります！クローラの活動、およびサーバーへの吸い込みのアクセス速度を低下させる。 公式よくある質問あなたのサイトになるにすることができます参照してください詳細についてヤフー要求の数を読ま！の低減にいくつかの方法。 私にとっても、支援クローラは、コストに見合うされていません。
ああヤフー！ それは、他の...それは、サイト視聴者のタイプをお持ちの依存推測に1つのサイトは0％に限り80％のトラフィックを私に送信されます。
私の場合では、女性、子供ベースのサイトは、利益が何らかの理由でヤフーからのトラフィックの多く。
もちろん、これらはすべて検索エンジンがあなたをもたらしますするトラフィックの量に依存します。
私は検索エンジンが死に自分のサーバーをクロールする前にこの事実を考慮すべきだと思う。
私はかつてロシアの検索エンジン（Yandex.ru）で問題があった。 それが最大のロシアの検索エンジンであり、それらはどこに1分あたり5〜10ページの速度で自分のサイトをクロールする。 どのような私は動揺する彼らは私のrobots.txtを次のなかったので、それらのオプションではなかったrobots.txtのに追加されました。 私はようやく私のiptablesのクローラをブロックするようにそれらを追加しなければならなかった。