خطای robots.txt fetch

ممکن است برای شما این اتفاق افتاده باشد که موقع باز کردن قسمت crawl erros در گوگل وبمستر با همجین خطایی مواجه باشید . robots.txt fetch

راهنمایی که من از گوگل در مورد این خطا دیدم و ترجمه کردم را براتون اینجا میذارم تا بخونید .

قبل از اینکه گوگل سایت شما را کرال کند. دسترسی های خود را از فایل robots.txt تعیین میکند.

اگر سایت شما گوگل را برای کرال کردن صفحات مسدود کرده باشد یا اگر فایل robots.txt شما غیر قابل دسترس باشد

یا به عبارت دیگر کد وضعیت 200 یا 404 را به گوگل برنگرداند . گوگل کرال کردن را به دلیل خطر کرال صفحاتی که شما دوست ندارید خوانده شوند متوقف می کند .

(معمولا ممکن است robots.txt بخاطر مشکلات کندی و قطعی هاست غیرقابل دسترس شده باشد یا اشتباها حذف شده باشد) .

 موقعی که این اتفاق می افتد گوگل دوباره به سایت ما باز می گردد و به محض اینکه robots.txt قابل دسترس شد سایت را دوباره کرال میکند.

مقاله های مرتبط

معنی 5xx server error - خطای 5xx server error

لغت نامه سئو و اصطلاحات سئو و واژه نامه سئو

اصطلاحات توییتری - 33 اصطلاح کاربردی در توئیتر

مشخصات نویسنده

نام نویسنده : محسن کریمی
محسن کریمی هستم . مدیرعامل شرکت ایفا نت و مدیر لرنو وب . تمام سعیمان در لرنو وب این است محتوایی بسیار با کیفیت و بی نظیر به شما ارائه کنیم.

نوشتن دیدگاه