Bloggerでのカスタムrobots.txtの設定方法

2022年12月28日水曜日

Blogger

結論から書きます!

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /search/label/

Sitemap: https://example.blogspot.com/sitemap.xml
 以上です。

※「example.blogspot.com」は自分のブログのアドレスに変更。

解説します

まず、具体的に何をやったのかですが、自分のブログのアドレスに「/robots.txt」を付けます。(例:https://example.blogspot.com/robots.txt)

すると現在のrobots.txtを確認することができます。

Bloggerを使っている私の場合はデフォルトで、

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://example.blogspot.com/sitemap.xml
でした。 

これに、5段目の「Allow: /」→「Allow: /search/label/」と変更しただけです。

これにより、各ラベル(カテゴリー)にもクローラーが巡回するようにしました。

他にも、「Disallow: /*archive」を書き加えてアーカイブ(月別の記事一覧みたいなものとか)を巡回させないようにするみたいです。

しかし、私のブログではアーカイブのアドレスに「archive」は使用していなかったので省きました。

まあ、基本的には初期のrobots.txtをベースにして、必要な命令だけを付け加えただけです。

次に、各記述の意味を簡単に説明します。

「User-agent」:どのクローラーに対する命令なのかの記述です。「Mediapartners-Google」はアドセンスのクローラーで「*」だとすべてのクローラーです。

「Disallow」:クロールをブロックする記述です。4段目で「/search」(サーチ結果のページ)をクローラーで巡回しないようにしています。

「Allow」:クロールを許可する記述です。基本的にはブロックしない限りすべてクローラーは巡回しますが、「Disallow: /search」でサーチを巡回しないようにしているため「Allow: /search/label/」で例外的にラベルだけ巡回してもらうように許可を出しています。今回の変更点です。

「Sitemap」:サイトマップの場所をクローラーに知らせる記述です。デフォルトからいじっていません。Bloggerではブログのアドレスに「/sitemap.xml」をつければサイトマップが見れます。

QooQ