ممکن است برای شما این اتفاق افتاده باشد که موقع باز کردن قسمت crawl erros در گوگل وبمستر با همجین خطایی مواجه باشید . robots.txt fetch
راهنمایی که من از گوگل در مورد این خطا دیدم و ترجمه کردم را براتون اینجا میذارم تا بخونید .
قبل از اینکه گوگل سایت شما را کرال کند. دسترسی های خود را از فایل robots.txt تعیین میکند.
اگر سایت شما گوگل را برای کرال کردن صفحات مسدود کرده باشد یا اگر فایل robots.txt شما غیر قابل دسترس باشد
خطای robots.txt fetch به عبارت دیگر کد وضعیت 200 یا 404 را به گوگل برنگرداند . گوگل کرال کردن را به دلیل خطر کرال صفحاتی که شما دوست ندارید خوانده شوند متوقف می کند .
(معمولا ممکن است robots.txt بخاطر مشکلات کندی و قطعی هاست غیرقابل دسترس شده باشد یا اشتباها حذف شده باشد) .
موقعی که این اتفاق می افتد گوگل دوباره به سایت ما باز می گردد و به محض اینکه robots.txt قابل دسترس شد سایت را دوباره کرال میکند.
