SEO ツール · 外部取得は行いません
robots.txt のルールを生成し、特定のパスが許可されるかを最長一致規則で判定します。
User-agent: * Disallow: /admin Disallow: /private Allow: /admin/public Sitemap: https://example.com/sitemap.xml
User-agent グループごとに Disallow と Allow を設定し、サイトマップの場所を加えると標準的な robots.txt が生成されます。同じページでテストもできます。パスとクローラー名を入力すると、許可か拒否か、そしてどのルールが効いたかを表示します。判定は Google と Bing の**最長一致**規則に従います。一致したパスが最も長い（具体的な）ものが優先され、長さが同じなら Allow が優先されます。「上から最初に一致したもの」という直感とは異なり、誤解が生じやすい点です。
Google と Bing の最長一致規則を適用します。robots.txt はクロールを制御するもので、インデックス登録を防ぐものではありません。
貼り付けた HTML・URL・文章はこのブラウザ内でのみ分析され、送信も保存も記録もされません。