blog-org-884-1486207714-robots-txt-logo ساخت یک فایل robots.txt

ساده ترین فایل Robot.txt شامل دو دستور است :

  • User-Agent : تعیین قانون برای انتخاب ربات .
  • Disallow : آدرسی که میخواهید مسدود شود.

همین دو دستور را در یک فایل متنی قرار دهید و نام آن را Robots.txt بگذارید و فایل را در ریشه ی دامنه ی خود قرار دهید عملیات مورد نظر شما را انجام می دهد در این فایل شما می توانید هر چند خط که می خواهید قرار دهید برای مثال :

User-Agent:*

Disallow:/folder1/

User-Agent:googlebot

Disallow:/folder2/

bots و User - agents

یک User-Agent  ربات مخصوص موتورهای جستجو می باشد.

وقتی که می نویسیم *:User-Agent یعنی هر موتور جستجویی که سراغ سایت می آید این قانون برایش اعمال گردد.

گوگل هم برای جستجویش از ربات های مختلفی استفاده می کند ولی برای جستجوی وب از googlebot استفاده می نماید.

بستنUser-agent ها

خط disallow صفحاتی را که شما می خواهید مسدود شوند لیست می کند.

برای مسدود کردن یک پوشه و هر چیزی که داخل آن است

Disallow:/junk-directory/

برای مسدود کردن یک سایت کامل برای ربات ها

Disallow:/

برای مسدود کردن یک صفحه برای ربات ها

Disallow:/privat-file.html

برای مسدود کردن یک عکس برای موتور جستجوی گوگل

user-agent:Googlebot-image

Disallow:/images/dogs.jpg

برای خارج کردن همه ی عکس هایشان از قسمت عکس گوگل

user-agent:googlebot-image

Disallow:/

برای خارج کردن فایل هایی که پسورد خاصی دارند از نتایج جستجوی گوگل

user-agent:Googlebot

Disallow:/*.gif$

دقت داشته باشید که کوچکی و بزرگی حروف از اهمیت بالایی برخوردار است

محدودیت های الگویی:

محدودیت های الگویی برای برخی از سایت ها ز جمله گوگل جواب می دهد برای همه ی سایت ها جواب نمی دهد برای مسدود کردن همه ی شاخه هایی که با یک کلمه ی خاص مثلا private شروع می شوند از علامت (*) ستاره استفاده می کنیم.
 

user-agent:googlebot

Disallow:/private*

برای مشخص کردن و کنترل آخر یک آدرس که مثلا به xls ختم می شود

user-agent:googlebot

Disallow:/*.xls$

شما برای حالت الگویی می توانید از دستور allow هم استفاده کنید مثلا اگر بخواهید URLهای شما را کنترل کند و دوباره هم ایندکس نشود .

یا آدرس هایی که به ؟ ختم میشود را فقط کنترل کند

user-agent:*

allow:/*$

Disallow:/*?

خط اول یعنی همه ی آدرس هایی که به ؟ ختم می شوند را ایندکس کن

خط دوم یعنی همه یآدرس هایی که به ؟ ختم می شوند را ایندکس نکن

 

نیاز به مشاوره بیشتر دارید؟

متخصصان پونه مدیا منتظر شما هستند

نظر خودتان را با ما در میان بگذارید