UtilityBox

開発・プログラミング

robots.txt 生成を無料で使う

クロール許可・拒否、サイトマップURLを入力してrobots.txtを生成する。 開発中のデータ確認や変換を、コピーしてすぐ試せます。

ブラウザ内処理
処理設定標準設定で実行できます。必要な場合だけ詳細設定を変更してください。

0文字

サンプル入力で推奨設定を読み込めます。

0文字

FEATURES

このツールでできること

  • クロール許可・拒否、サイトマップURLを入力してrobots.txtを生成する。
  • 開発中のデータ確認や変換を、コピーしてすぐ試せます。
  • 無料・会員登録不要で、PCとスマートフォンのブラウザから利用できます。

HOW TO USE

使い方

  1. 1

    入力欄へ処理対象を貼り付けます。

  2. 2

    必要に応じて設定欄のkey=valueを編集します。

  3. 3

    「robots.txt生成を実行する」を押すと結果が表示されます。

  4. 4

    生成ファイルがある場合は、表示されたダウンロードボタンから保存します。

EXAMPLE

具体的な入力例・出力例

入力例

userAgent=*
allow=/
disallow=/admin/,/private/
sitemap=https://example.com/sitemap-index.xml

出力例

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/

Sitemap: https://example.com/sitemap-index.xml

テキスト入力と推奨設定を反映します。ファイル系ツールでは確認用ファイルもブラウザ内で生成し、実際の処理結果を表示します。

PRACTICAL USES

具体的な利用場面

  • 公開サイトのクロール許可・拒否とサイトマップURLをrobots.txtへまとめる。
  • robots.txt生成ツールで実装前の入力・設定・生成コードをブラウザ内確認する。
  • サンプルと実際の結果形式を比較し、プロジェクトへ貼り付ける前に差分を確認する。

処理仕様と結果の確認ポイント

  • 入力例は「userAgent=* / allow=/ / disallow=/admin/,/private/ / sitemap=https://example.com/sitemap-index.xml」です。
  • 出力例は「User-agent: * / Allow: / / Disallow: /admin/ / Disallow: /private/ / / Sitemap: https://example.com/sitemap-index.xml」で、実行エンジンと同じ形式を掲載しています。
  • User-agent、Allow、Disallow、Sitemapのパスと改行を確認します。
  • 入力コードを実行せず、解析・整形・文字列生成だけをブラウザ内で行います。

このツール固有の制限

  • robots.txtはアクセス制御ではなく、悪意あるクローラーの閲覧を防止しません。
  • 方言、ライブラリ、実行環境の差があるため、生成結果は対象プロジェクトで検証してください。
  • 入力上限は2,000,000文字を目安とし、大量入力ではブラウザが重くなる場合があります。

SPECIFICATION & REVIEW

入力・出力仕様と確認基準

robots.txt生成ツールは「robots.txt生成」の作業を、標準ブラウザAPI・自作を使ってブラウザ内で処理します。入力形式、出力形式、処理上限を公開し、結果を利用する前に確認すべき点も明示しています。

入力仕様

  • 入力の種類：テキストまたは構造化データ。サンプルは「userAgent=* allow=/ disallow=/admin/,/private/ sitemap=https://example.com/sitemap-index.xml」です。
  • 補助入力：必須の2つ目の入力はありません。robots.txt生成の主入力と設定だけで実行できます。
  • 設定項目：標準設定で実行できます。追加設定が不要な処理では、空欄のまま実行できます。
  • 処理上限：2MBまたは2,000,000文字を初期上限。上限超過は処理開始前に日本語のエラーとして案内します。

出力仕様

  • 出力の種類：処理後テキスト、文字数または処理件数。
  • サンプル出力：User-agent: * Allow: / Disallow: /admin/ Disallow: /private/ Sitemap: https://example.com/sitemap-index.xml
  • 保存方法：出力欄からコピーでき、必要に応じてテキストファイルとして保存できます。
  • 処理方式：標準ブラウザAPI・自作。入力内容や選択ファイルを外部サーバーへ送信しません。

結果を利用する前の確認項目

  • サンプル入力「userAgent=* allow=/ disallow=/admin/,/private/ sitemap=https://example.com/sitemap-index.xml」で実行し、出力の先頭が「User-agent: *」の形式になるか確認します。
  • robots.txt生成を空の追加設定で実行し、標準設定だけで結果が生成されることを確認します。
  • 対象言語や実行環境へ貼り付ける前に、構文、文字コード、予約語、エスケープ方法の差を確認します。
  • 入力上限、未対応形式、破損データを与えた場合に、技術的な例外文ではなく修正方法が分かるエラーになるか確認します。

仕様更新日：2026年7月21日　ツール品質方針を見る

ERRORS

エラーになる条件

  • 必須入力または必須ファイルが空の場合。
  • 2MBまたは2,000,000文字を初期上限
  • 入力形式が不正、または指定した設定値を解析できない場合。
  • ブラウザが必要な標準APIに対応していない場合。

NOTES

使用上の注意

  • 入力内容を実行せず、文字列または数値としてブラウザ内で処理します。
  • 入力上限：2MBまたは2,000,000文字を初期上限
  • 大量の入力ではブラウザの動作が一時的に重くなる場合があります。
  • 変換・計算結果は利用前に必ず確認してください。

入力データを外部送信しません

入力したデータや選択したファイルは、ユーザーのブラウザ内で処理され、外部サーバーへ送信されません。

FAQ

よくある質問

robots.txt生成ツールは入力コードを実行しますか？

実行せず、文字列として解析・整形・生成します。

robots.txt生成ツールの結果をコピー・保存できますか？

結果欄からコピーでき、テキストファイルとして保存できます。

robots.txt生成ツールで確認するポイントは？

User-agent、Allow、Disallow、Sitemapのパスと改行を確認します。

robots.txt生成は無料で使えますか？

無料で利用でき、会員登録も必要ありません。

robots.txt生成はスマートフォンでも使えますか？

一般的なスマートフォンブラウザから利用できます。ファイル系機能は端末やブラウザの保存仕様によって操作が異なる場合があります。

robots.txt生成ツールは無料で利用できますか？

無料で利用でき、会員登録も不要です。

robots.txt生成ツールへ入力したデータは保存されますか？

保存されません。実行可能な処理はブラウザ内で完結し、入力内容を外部サーバーへ送信しません。

robots.txt生成ツールの対応範囲は何ですか？

入力内容を実行せず、文字列または数値としてブラウザ内で処理します。

robots.txt生成ツールで扱える上限はどの程度ですか？

2MBまたは2,000,000文字を初期上限

robots.txt生成ツールの結果が想定と異なる場合はどうすればよいですか？

入力形式、設定欄、対応範囲を確認してください。変換結果は利用前に必ず内容を確認してください。