مولد ملف Robots.txt

القاعدة الوحيدة التي يجب توخي الحذر معها

ملف robots.txt يحتوي على Disallow: / يطلب من كل زاحف تجاهل الموقع بأكمله. إنه حرف واحد بعيدًا عن الملف ولا يمنع أي شيء، وقد أزال عددًا من المواقع من نتائج البحث أكثر من أي خطأ منفرد آخر تقريبًا.

الخيار موجود هنا لأن مواقع التدريج تحتاج إليه حقًا، والملصق يوضح ذلك بوضوح. تحقق من الملف الذي تم إنشاؤه قبل تحميله.

ما لا يفعله ملف robots.txt

يطلب بقاء برامج الزحف خارجًا. فهو لا يبقي الصفحة خارج الفهرس عندما ترتبط بها مواقع أخرى، ولا يوفر أي أمان: الملف عام، لذا فإن إدراج مسار حساس يعلن عنه. استخدم noindex لإبقاء الصفحات خارج النتائج، والمصادقة لإبعاد الأشخاص.

التحقق منه بعد التحميل

قم بإحضار ملف robots.txt الخاص بك في المتصفح بعد نشره. تتعامل برامج الزحف مع 404، أو نوع المحتوى الخاطئ، كإذن للزحف إلى كل شيء، والذي قد يتطابق أو لا يتوافق مع نيتك.

تعرض Search Console والأدوات المماثلة أيضًا كيفية قراءة الملف، وهو ما يستحق التحقق منه بعد أي تغيير.

هل تحتاج إلى التعامل مع هذا عبر موقع الويب بالكامل؟ انظر لدينا خدمات تحسين محركات البحث الفنية الصفحة.