فایل را در ریشه‌ی سایت (کنار wp-config.php) قرار دهید؛ آدرس آن باید example.com/robots.txt باز شود. برای بررسی نسخه‌ی فعلی سایت، از ابزار «بررسی Robots.txt» استفاده کنید.
دستورها را بشناسیم
فایل robots.txt اولین جایی است که هر خزنده‌ی معتبر باز می‌کند. این فایل می‌گوید کدام مسیرها خزش شوند، کدام بسته بمانند و نقشه‌ی سایت کجاست. اگر گروهی را حذف کنید، خزنده‌ها همه‌چیز را باز می‌بینند — پس چیز اضافه‌ای ننویسید.
هر گروه از این خط شروع می‌شود و قوانین بعدی فقط به همان خزنده می‌رسد. ستاره (*) یعنی همه‌ی خزنده‌ها؛ Googlebot و GPTBot هم خزنده‌های شناخته‌شده‌ای هستند.
مسیرهایی که خزنده نباید ببیند؛ هر خط یک مسیر. خط «Disallow:» با مقدار خالی یعنی هیچ‌چیز بسته نیست. این دستور مانع ایندکس نیست — فقط مانع خزش است.
برای بازکردن یک مسیر داخل یک مسیر بسته استفاده می‌شود؛ مثل باز گذاشتن admin-ajax.php داخل /wp-admin/. اگر Allow و Disallow هم‌طول باشند، Allow برنده می‌شود.
فاصله‌ی ثانیه‌ای بین دو درخواست. گوگل این دستور را نادیده می‌گیرد (محدودیتش از کنسول جستجو تنظیم می‌شود)؛ بینگ و یاندکس آن را می‌فهمند.
آدرس کامل نقشه‌ی سایت را اینجا بنویسید تا کشف صفحات سریع‌تر شود. هر خط یک آدرس و فقط آدرس کامل با https.