یکی از ابزارهای مفید و کاربردی در پروسه سئو سایت که سبب ایندکس صحیح صفحات سایت توسط موتورهای جستجو می گردد، ابزار آنلاین و رایگان ساخت فایل متنی robots.txt می باشد. این فایل باید در ریشه یا روت هاست قرار داده شود (مانند فرمت زیر)، زیرا ربات های موتورهای جستجو هنگام خزیدن (کراول) در سایت ابتدا فایل متنی robots.txt را در ریشه دامنه جستجو می کنند. (فرمت صحیح قرارگیری فایل روبوت www.yourdomain.com/robots.txt) به بیانی ساده فایل robots.txt اجازه بررسی سایت و صفحه ها و محتویات آن را به روبات های موتورهای جستجومی دهد، زیرا با تایپ دستوراتی در این فایل متنی این امکان ایجاد می گردد که مانع از دسترسی همه یا تعدادی از روبات های موتورهای جستجو برای بازدید و ایندکس سایت گردد و یا با مشخص نمودن بخش های غیرضروری سایت، آنها را از لیست ایندکس شدن توسط ربات ها خارج نمود.
روبات های موتورهای جستجو به محض خزیدن در سایت و یافتن فایل متنی بالا، شروع به خواندن لیستی از دستورات لیست شده در آن می نمایند تا پس از بررسی دسترسی یا عدم دسترسی خود به فایل ها و دایرکتوری های مشخص شده اقدام به بازدید و ایندکس صفحات سایت نمایند. این فایل می تواند توسط ابزارهای رایگان ساخت آن مانند ابزار ارائه شده در بخش آنالیز سایت upseo.ir ، ایجاد گردد و یا توسط وبمستر با آگاهی از فرمت دستورات و معنای آن ساخته شود. پس از ساخت فایل، گوگل و سایر موتورهای جستجو قادر به کشف صفحاتی از سایت می گردند که باید نادیده گرفته شده و کنار گذاشته شوند. به عبارت دیگر، فایل ایجاد شده توسط ابزار ساخت robots.txt در حقیقت عمل متقابل نقشه سایت را انجام می دهد، زیرا هدف از نقشه سایت ایندکس شدن سریع و ساده تر صفحات سایت مشخص شده توسط ربات های موتورهای جستجویی چون گوگل است. فایل روبوت محدودیت های دسترسی فایل ها و مسیرهایی که نباید ایندکس گردند را لیست می نماید و نقشه سایت در مقابل فایل ها و مسیرهایی که الزام بر ایندکس آنها است را مشخص می نماید.
در صورتی که از قبل فایل ایجاد شده، می توانید با وارد کردن آدرس دامنه خود آن را آپلود نمایید. (این گزینه اختیاری است). با انتخاب گزینه اجازه یا عدم اجازه دستورات و تعیین کدام ربات موتور جستجو و یا انتخاب تمامی آنها با گزینه (*) می توان دستورات جدید را به فایل با زدن دکمه اضافه کردن دستورات، اضافه نمود. در صورت نیاز می توان با وارد کردن آدرس نقشه سایت در کادر مشخص شده و کلیک بر روی گزینه آپدیت، این فرمان را در لیست فایل روبوت اضافه نمود. پس از تکمیل موارد درخواستی با کلیک بر روی دکمه صدور، فایل روبوت ذخیره گردیده و با استفاده از ftp و یا دسترسی مستقیم به هاست سایت ، فایل روبوت تولید شده را در ریشه سایت بارگذاری نمایید.
تماس با آپسئو :
09015119055
02122428931
09122126038