結論から書きます!
User-agent: Mediapartners-GoogleDisallow:User-agent: *Disallow: /searchAllow: /search/label/Sitemap: https://example.blogspot.com/sitemap.xml
以上です。
※「example.blogspot.com」は自分のブログのアドレスに変更。
解説します
まず、具体的に何をやったのかですが、自分のブログのアドレスに「/robots.txt」を付けます。(例:https://example.blogspot.com/robots.txt)
すると現在のrobots.txtを確認することができます。
Bloggerを使っている私の場合はデフォルトで、
User-agent: Mediapartners-GoogleDisallow:User-agent: *Disallow: /searchAllow: /Sitemap: https://example.blogspot.com/sitemap.xml
でした。
これに、5段目の「Allow: /」→「Allow: /search/label/」と変更しただけです。
これにより、各ラベル(カテゴリー)にもクローラーが巡回するようにしました。
他にも、「Disallow: /*archive」を書き加えてアーカイブ(月別の記事一覧みたいなものとか)を巡回させないようにするみたいです。
しかし、私のブログではアーカイブのアドレスに「archive」は使用していなかったので省きました。
まあ、基本的には初期のrobots.txtをベースにして、必要な命令だけを付け加えただけです。
次に、各記述の意味を簡単に説明します。
「User-agent」:どのクローラーに対する命令なのかの記述です。「Mediapartners-Google」はアドセンスのクローラーで「*」だとすべてのクローラーです。
「Disallow」:クロールをブロックする記述です。4段目で「/search」(サーチ結果のページ)をクローラーで巡回しないようにしています。
「Allow」:クロールを許可する記述です。基本的にはブロックしない限りすべてクローラーは巡回しますが、「Disallow: /search」でサーチを巡回しないようにしているため「Allow: /search/label/」で例外的にラベルだけ巡回してもらうように許可を出しています。今回の変更点です。
「Sitemap」:サイトマップの場所をクローラーに知らせる記述です。デフォルトからいじっていません。Bloggerではブログのアドレスに「/sitemap.xml」をつければサイトマップが見れます。