نتیجه را چطور بخوانیم؟
robots.txt اولین فایلی است که هر خزنده‌ی معتبر باز می‌کند؛ دروازه‌بان خزش است. یک خط اشتباه مثل «Disallow: /» کل سایت را از نتایج جستجو حذف می‌کند، و یک خط جاافتاده‌ی Sitemap کشف صفحات را کند می‌کند. این ابزار فایل را می‌خواند، قوانینش را برای گوگل‌بات شبیه‌سازی می‌کند و خطاهای نگارشی و دستورهای ناشناخته را نشان می‌دهد.
قوانین از خط User-agent شروع می‌شوند تا خط خالی بعدی. گروه * مخصوص همه‌ی خزنده‌هاست؛ گروه اختصاصی Googlebot جای آن را می‌گیرد.
هر جا Allow و Disallow هر دو مطابقت کنند، قانونِ طولانی‌تر برنده است؛ اگر طولشان برابر شد، Allow می‌برد. همین الگوریتم را این ابزار شبیه‌سازی می‌کند.
خط Sitemap باید آدرس کامل با https باشد؛ وجودش کشف صفحات را سریع‌تر می‌کند و خطای ۴۰۴ داشتنش هم باید اصلاح شود.
گوگل از سال ۲۰۱۹ دستور noindex در robots.txt را نادیده می‌گیرد؛ اگر می‌خواهید صفحه ایندکس نشود، تگ متا یا هدر X-Robots-Tag راه درست است.
کد ۴۰۴ برای robots.txt یعنی سایت فایل ندارد؛ همه‌چیز باز است اما کنترلی روی بودجه‌ی خزش ندارید. فایل بسازید و آپلود کنید.