先日こちらの記事を読みまして、サイト内検索のページが大量にインデックスされているという点が、実は私も同じ現象だったことに気付きました。。
年末にAMP対応して、AMPってこんなにインデックス増えるんだー…なんて思い、あまり深く気にしていませんでしたが。。同じようにsite:〜で確認してみると増えた時期も全く同じでした!
そこで、今回はサイト内検索のページをインデックスさせたくない場合の対処について考えてみたいと思います。(はてなブログ寄りの内容です。)
特定のページをインデックスさせない方法
まず、インデックスさせない方法はいくつかあるんですが、はてなブログの場合だとできるものとできないものがあります。
その辺も交えて考えてみます。
robots.txtでクロールを制限する方法
まず、思い浮かぶのがrobots.txtに検索結果ページへのクロールを抑制することです。
しかし、はてなブログではファイル自体をアップロードすることができないため、この方法はできません。(サーチコンソールだけで更新できれば便利なんですけどね。。)
しかもインデックスさせないという意味では完全ではありません。
あくまでクローラーの制限だけなので、何かしらのリンクを辿ってしまえばクロールされてしまう可能性があります。
また、例えばGoogleのrobots.txtを参考に見てみるとやはり検索結果ページへのクローラーの制限が確認できます。
参考:https://www.google.co.jp/robots.txt
Googleでは下記のような記述でクローラーを制限しているようです。
はてなブログ以外の場合ならrobots.txtに追加してアップするだけですね。(念のためサーチコンソールで挙動を確認してください。)
Disallow: /search
なので、やはりサイト内検索の結果ページもインデックスされないような対策は念のためしておいた方が良さそうです。
参考:更新した robots.txt を Google に送信 – Search Console ヘルプ
URLの削除
次にURLの削除です。
Googleが提供しているサーチコンソールには「URL」の削除というものがあります。
これを使えばインデックスされてしまったページを削除することができます。
これなら確実です。しかし、この作業は1URLごとの削除となります。
今回の私の場合はちょっとページが多いのでいつになるかわかりません。。
なので、今回は断念しましたが、削除したいページの数によってはこの方法でも良いかもしれません。
こまめにチェックして無駄なインデックスが増える前に削除しておきたい時なんかに使うと良いでしょう。
noindexをサイト内検索のページに追加する方法
次に思いつくのが…と言うか最初に思いつくと思われるのが「noindex」ですね。
もちろん、サイト内検索のページだけに追加したいので、何らかの方法で動的にする必要がありそうです。
すると、ありました!
まさに私がやりたかったことです。少しのJavaScriptを追加するだけで動的にnoindexが追加されます。(※ブラウザの「ソースの表示」では確認できないようです。)
Firefoxで言うfirebugのようなデバッグツールで見てみると、下記画像のように確認することができます。
これで一旦、様子を見たいと思います。
スクリプトや設定については上記ページを参考にしてください。
めかりる(id:slashnsk)さんありがとうございます!
まとめ
インデックスの数が急に増えていたことには気付いていたんですが、どういったページが増えたのかちゃんと確認しないとダメですね。
ということで、はてなブログに限らず急にインデックス数が増えているようなら、サーチコンソールでインデックスされたページの一覧まではわからないので、一度site:(ドメイン)で検索してみて、変なページがないか確認しておくことをおすすめします!