UtilityBox

PRACTICAL GUIDE / Web・SEO

robots.txt・robots meta・noindexの使い分け

クロール制御とインデックス制御を混同せず、検索結果から除外する方法を整理します。

最終確認日：2026年8月22日　確認者：UtilityBox運営者

このガイドで防ぐ問題

robots.txtでブロックしたページへnoindexを置き、Googleがタグを読めない問題を防ぎます。

特に「Disallowを検索結果削除の命令として使っている。」状態を見落とさないため、作業を始める前に元データや現在の設定を残し、変更前後を比較できる状態を作ることが重要です。

robots.txt・robots meta・noindexの使い分けでは、処理が完了したかだけでなく、入力条件、変更内容、確認結果の3点を記録します。自動判定で確定できない部分は、利用先の仕様や担当者の判断と照合してください。

WORKED EXAMPLE

robots.txt・robots meta・noindexの使い分けの確認記録例

「Disallowを検索結果削除の命令として使っている。」可能性のあるケースを、元データを壊さずに切り分けます。

処理・確認前

発生している問題
robots.txtでブロックしたページへnoindexを置き、Googleがタグを読めない問題を防ぎます。

最初に確認する原因
1. Disallowを検索結果削除の命令として使っている。
2. noindexとcanonicalの関係を確認していない。
3. サイトマップへnoindex URLを含めている。

処理・確認後

作業記録
1. クロールさせたくないのか、検索結果へ出したくないのかを分けます。
2. noindexページはクロール可能にしてタグを読ませます。
3. 内部リンク、canonical、サイトマップの整合を確認します。

完了判定
- 対象HTMLにnoindexが出力される。
- robots.txtで対象を同時に遮断していない。
- Search Consoleで除外理由を確認する。

この例で確認するポイント

  • 対象HTMLにnoindexが出力される。
  • 反映には再クロールが必要です。
  • 関連ツールは「robots-txt-generator、robots-meta-generator、canonical-url-checker」です。処理結果を確定情報として扱わず、利用先の仕様と照合します。

最初に原因候補を分ける

同じ症状でも原因は一つとは限りません。特に「Disallowを検索結果削除の命令として使っている。」に該当する場合と「noindexとcanonicalの関係を確認していない。」に該当する場合では、確認すべき入力や設定が異なります。

一度に複数の条件を変更せず、変更前の状態と比較できるように一項目ずつ確認すると、再発時にも判断しやすくなります。

  • Disallowを検索結果削除の命令として使っている。
  • noindexとcanonicalの関係を確認していない。
  • サイトマップへnoindex URLを含めている。

結果を採用する前に照合する

最低限、確認項目の「対象HTMLにnoindexが出力される。」を満たすことを確かめます。結果の一部だけで判断せず、件数、形式、代表値、境界条件など、このガイドに示す確認項目を組み合わせてください。

また、反映には再クロールが必要です。 この限界に該当する場合は、ツールの結果だけで作業を確定せず、仕様書や元データへ戻って確認します。

問題が起きる主な原因

  • Disallowを検索結果削除の命令として使っている。
  • noindexとcanonicalの関係を確認していない。
  • サイトマップへnoindex URLを含めている。

安全に作業する手順

  1. 1

    クロールさせたくないのか、検索結果へ出したくないのかを分けます。

  2. 2

    noindexページはクロール可能にしてタグを読ませます。

  3. 3

    内部リンク、canonical、サイトマップの整合を確認します。

結果を利用する前の確認項目

  • 対象HTMLにnoindexが出力される。
  • robots.txtで対象を同時に遮断していない。
  • Search Consoleで除外理由を確認する。

作業完了前のチェックリスト

  • 変更前の元データまたは設定を保存した
  • クロールさせたくないのか、検索結果へ出したくないのかを分けます。
  • noindexページはクロール可能にしてタグを読ませます。
  • 内部リンク、canonical、サイトマップの整合を確認した
  • 対象HTMLにnoindexが出力される。
  • robots.txtで対象を同時に遮断していない。
  • Search Consoleで除外理由を確認した
  • このガイドの限界と利用先の仕様を確認した

この方法の限界と注意点

  • 反映には再クロールが必要です。
  • 機密情報保護にrobots制御を使用しないでください。

関連する無料ツール

UtilityBoxのガイド方針

ツールの操作方法だけでなく、結果を誤用しないための具体例、確認項目、処理の限界、元データを保管すべき場面まで記載します。原因・手順・完了判定・限界を運営者が確認したガイドだけを一覧と検索対象へ掲載します。

品質確認の方法と更新方針を確認する →