مولد robots.txt.

By default all robots are

Crawl delay

 

Sitemap URL. Leave blank for none.

Robots are allowed to crawl your site:

 

Restricted directories or files. Relative to root, with trailing slash for dirs.

Your Robots.txt

يقوم ملف Robots.txt على موقع ويب هو مساعدة مشرفي المواقع تجاهل الملفات المحددة أو الأدلة المحددة عند الزحف العنكبوت محرك Secrch.

يساعدك Robots.txt Generator في الحصول على ملف Robost.txt أسهل، وهو Wehn، يمكنك تحديد محرك البحث المسموح به وزحف وقت التأخير، وأدخل عنوان URL عبر خريطة الموقع وحدد الروتوتات المسموح بها ثم احصل على التعليمات البرمجية. رمز مثل أدناه:

<قبل>

وكيل المستخدم: *

عدم السماح: /

وكيل المستخدم: IA_ARCHIVER

عدم السماح:

وكيل المستخدم: Slurp

عدم السماح:

وكيل المستخدم: APT

عدم السماح:

وكيل المستخدم: توما

عدم السماح:

وكيل المستخدم: baiduspider

عدم السماح:

وكيل المستخدم: Twiceler

عدم السماح:

وكيل المستخدم: روبوزيلا

عدم السماح:

وكيل المستخدم: جيجابوت

عدم السماح:

وكيل المستخدم: googlebot

عدم السماح:

وكيل المستخدم: GoogleBot-Image

عدم السماح:

وكيل المستخدم: GoogleBot-Mobile

عدم السماح:

وكيل المستخدم: mail.ru

عدم السماح:

وكيل المستخدم: msnbot

عدم السماح:

وكيل المستخدم: PSBOT

عدم السماح:

وكيل المستخدم: Naverbot

عدم السماح:

وكيل المستخدم: اليتي

عدم السماح:

وكيل المستخدم: Nutch

عدم السماح:

وكيل المستخدم: StackRambler

عدم السماح:

وكيل المستخدم: Scrubby

عدم السماح:

وكيل المستخدم: Asterias

عدم السماح:

وكيل المستخدم: Yahoo-Slurp

عدم السماح:

وكيل المستخدم: ياندكس

عدم السماح:

مولد robots.txt.