ساخت فایل Robots.txt

بهینه سازی موتورهای جستجو

ساخت فایل Robots.txt


پیش فرض - همه ربات ها هستند:  
    
تاخیر - کراول:
    
نقشه سایت: اختیاری ٬ درصورتی که نقشه سایت ندارید این کادر را خالی بگذارید 
     
ربات های جستجوگر: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
مخفی نمودن دایرکتوری از موتورهای جستجگر: مسیر وابسته و مربوط به ریشه و روت است و باید حاوی یک علامت / باشد "/"
 
 
 
 
 
 
   



را در پوشه روت ایجاد کنید و متن بالا را کپی و داخل فایل متنی وارد کنید robots.txt اکنون ٬ فایل


درباره ساخت فایل Robots.txt

ساخت فایل Robots.txt

یکی از ابزارهای مفید و کاربردی در پروسه سئو سایت که سبب ایندکس صحیح صفحات سایت توسط موتورهای جستجو می گردد، ابزار آنلاین و رایگان ساخت فایل متنی robots.txt می باشد. این فایل باید در ریشه یا روت هاست قرار داده شود (مانند فرمت زیر)، زیرا ربات های موتورهای جستجو هنگام خزیدن (کراول) در سایت ابتدا فایل متنی robots.txt را در ریشه دامنه جستجو می کنند. (فرمت صحیح قرارگیری فایل روبوت www.yourdomain.com/robots.txt) به بیانی ساده فایل robots.txt اجازه بررسی سایت و صفحه ها و محتویات آن را به روبات های موتورهای جستجومی دهد، زیرا با تایپ دستوراتی در این فایل متنی این امکان ایجاد می گردد که مانع از دسترسی همه یا تعدادی از روبات های موتورهای جستجو برای بازدید و ایندکس سایت گردد و یا با مشخص نمودن بخش های غیرضروری سایت، آنها را از لیست ایندکس شدن توسط ربات ها خارج نمود.

فایل Robots.txt چیست؟

روبات های موتورهای جستجو به محض خزیدن در سایت و یافتن فایل متنی بالا، شروع به خواندن لیستی از دستورات لیست شده در آن می نمایند تا پس از بررسی دسترسی یا عدم دسترسی خود به فایل ها و دایرکتوری های مشخص شده اقدام به بازدید و ایندکس صفحات سایت نمایند. این فایل می تواند توسط ابزارهای رایگان ساخت آن مانند ابزار ارائه شده در بخش آنالیز سایت upseo.ir ، ایجاد گردد و یا توسط وبمستر با آگاهی از فرمت دستورات و معنای آن ساخته شود. پس از ساخت فایل، گوگل و سایر موتورهای جستجو قادر به کشف صفحاتی از سایت می گردند که باید نادیده گرفته شده و کنار گذاشته شوند. به عبارت دیگر، فایل ایجاد شده توسط ابزار ساخت robots.txt در حقیقت عمل متقابل نقشه سایت را انجام می دهد، زیرا هدف از نقشه سایت ایندکس شدن سریع و ساده تر صفحات سایت مشخص شده توسط ربات های موتورهای جستجویی چون گوگل است. فایل روبوت محدودیت های دسترسی فایل ها و مسیرهایی که نباید ایندکس گردند را لیست می نماید و نقشه سایت در مقابل فایل ها و مسیرهایی که الزام بر ایندکس آنها است را مشخص می نماید.

آموزش ساخت فایل robots.txt

در صورتی که از قبل فایل ایجاد شده، می توانید با وارد کردن آدرس دامنه خود آن را آپلود نمایید. (این گزینه اختیاری است). با انتخاب گزینه اجازه یا عدم اجازه دستورات و تعیین کدام ربات موتور جستجو و یا انتخاب تمامی آنها با گزینه (*) می توان دستورات جدید را به فایل با زدن دکمه اضافه کردن دستورات، اضافه نمود. در صورت نیاز می توان با وارد کردن آدرس نقشه سایت در کادر مشخص شده و کلیک بر روی گزینه آپدیت، این فرمان را در لیست فایل روبوت اضافه نمود. پس از تکمیل موارد درخواستی با کلیک بر روی دکمه صدور، فایل روبوت ذخیره گردیده و با استفاده از ftp و یا دسترسی مستقیم به هاست سایت ، فایل روبوت تولید شده را در ریشه سایت بارگذاری نمایید.


09122126038