با ما در ارتباط باشید: 0314566
مدت زمان مطالعه: 6 دقیقه

ساخت یک فایل robots.txt روشی است که با آن می توانید به موتور های جست و جو اعلام کنید که کدام یک از قسمت های وب سایتتان برای موتور جستجو گوگل قابل دسترس است. برای جذب بازدید کننده های بیشتر به وب سایتتان لازم است تنظیماتی را در جهت معرفی وب سایت به موتور های جست و جو انجام دهید. ایجاد یک فایل robots.txt به شما این امکان را می دهد که با قرار دادن آن ورود موتور های جستجو به سایت را کنترل کنید.

آموزش ایجاد یک فایل robots.txt

قبل از ایجاد این فایل بررسی کنید که از قبل چنین فایلی در سرور شما ایجاد نشده باشد. برای اطمینان از این مورد کافیست آدرس سایت خود را وارد و در انتهای آن /robots.txt را تایپ و کلید اینتر را بزنید. یعنی به صورت /poonehmedia.com /robots.txt باشد. اگر پس از باز کردن صفحه با ارور 404 مواجه شدید یعنی چنین فایلی از قبل ایجاد نشده است. اما در صورتی که پس از وارد کردن این عبارت در انتهای نام دامنه وب سایت، با کد های مربوط به فایل robots.txt روبرو شدید یعنی این فایل برای وب سایت از قبل موجود می باشد. در این حالت می بایست به کنترل پنل هاست خود مراجعه کنید و در قسمت روت اصلی وب سایت این فایل را پیدا کنید. بعد از پیدا کردن این فایل توسط یک ویرایشگر متنی، فایل robots.txt را باز کنید و آن را ویرایش کنید. همچنین می توانید آن را روی سیستم خود ذخیره وپس از ویرایش مجددا روی هاست آپلود کنید.
اگر قادر به یافتن این فایل در هاست خود نشدید یک فایل متنی از طریق Notepad بسازید و آن را با نام robots ذخیره کنید. دقت کنید که حتما از حروف کوچک برای نام گذاری استفاده شود. دستورات مد نظر خود را در این فایل تایپ کنید و در نهایت فایل ایجاد شده را از طریق هاست و در روت اصلی آپلود کنید.

ربات تکست های پونه مدیا

دستورات فایل Robot.txt

فایل robots.txt به فایل متنی شامل ساختار ساده گفته می شود. عملکرد این فایل با استفاده از دستورات پیش فرضی که در آن قرار گرفته شده است تعیین می شود. از مهم ترین دستورات موجود در این فایل می توان به دستوراتی مانندAllow ، User-agent، Disallow ، Crawl، delay  و Sitemap اشاره کرد که پونه مدیا در ادامه به بررسی این موارد خواهد پرداخت.

ساده ترین فایل Robot.txt شامل دو دستور است :

  • User-Agent : تعیین قانون برای انتخاب ربات .
  • Disallow : آدرسی که میخواهید مسدود شود.

همین دو دستور را در یک فایل متنی قرار دهید و نام آن را Robots.txt بگذارید و فایل را در ریشه ی دامنه ی خود آپلود کنید. عملیات مورد نظر انجام گرفت. در این فایل شما می توانید هر چند خط که می خواهید قرار دهید برای مثال :

User-Agent:*

Disallow:/folder1/

User-Agent:googlebot

Disallow:/folder2/

bots و User - agents

دستورات فایل Robot.txt

User-Agent یک ربات مخصوص موتورهای جستجو می باشد. وقتی که می نویسیم *:User-Agent یعنی هر موتور جستجویی که سراغ سایت می آید این قانون برایش اعمال گردد. گوگل برای جستجوهایش از ربات های مختلفی استفاده می کند ولی برای جستجوی وب از googlebot استفاده می نماید.

خط disallow صفحاتی را که شما می خواهید مسدود شوند لیست می کند.

برای مسدود کردن یک پوشه و هر چیزی که داخل آن است

Disallow:/junk-directory/

برای مسدود کردن کامل یک سایت  برای ربات ها

Disallow:/

برای مسدود کردن یک صفحه برای ربات ها

Disallow:/privat-file.html

برای مسدود کردن یک عکس برای موتور جستجوی گوگل

user-agent:Googlebot-image

Disallow:/images/dogs.jpg

برای خارج کردن همه ی عکس های وب سایت از قسمت عکس گوگل

user-agent:googlebot-image

Disallow:/

برای خارج کردن فایل هایی که پسورد خاصی دارند از نتایج جستجوی گوگل

user-agent:Googlebot

Disallow:/*.gif$

دقت داشته باشید که کوچکی و بزرگی حروف از اهمیت بالایی برخوردار است

محدودیت های الگویی در فایل Robot.txt

محدودیت های الگویی برای برخی از سایت ها ز جمله گوگل جواب می دهد اما الزاما برای همه سایت ها جواب نمی دهد. برای مسدود کردن همه ی شاخه هایی که با یک کلمه ی خاص مثلا private شروع می شوند از علامت (*) ستاره استفاده می کنیم.
 

user-agent:googlebot

Disallow:/private*

برای مشخص کردن و کنترل آخر یک آدرس که مثلا به xls ختم می شود

user-agent:googlebot

Disallow:/*.xls$

شما برای حالت الگویی می توانید از دستور allow هم استفاده کنید مثلا اگر بخواهید URLهای شما را کنترل کند و دوباره هم ایندکس نشود. یا آدرس هایی که به ؟ ختم میشود را فقط کنترل کند

user-agent:*

allow:/*$

Disallow:/*?

خط اول یعنی همه ی آدرس هایی که به ؟ ختم می شوند را ایندکس کن

خط دوم یعنی همه ی آدرس هایی که به ؟ ختم می شوند را ایندکس نکن

محدودیت های الگویی فایل robots.txt

تاثیر فایل robots.txt در سئو وب سایت

همان طور که استفاده از دستورات robots.txt در اکثر مواقع پیشنهاد می شود وممکن است در کمپین سئو سایت شما تاثیر بسزایی داشته باشد زیاده روی و یا اشتباه نوشتن کد های این فایل می تواند موجب ایجاد نتیجه عکس برای وب سایت شما شود. پس نکات زیر را به دقت بخوانید و با در نظر گرفتنشان یک فایل متناسب با اصول سئو ایجاد کنید.
1- فایل robots.txt سایت خود را بررسی کنید و مطمئن شوید که بخشی از وب سایت از طریق آن بلاک نشده باشد.
2- در این بررسی ها مطمئن شوید که فایل‌ها و پوشه‌های مهم CSS و JS مسدود نشده اند. با توجه به این که ربات های گوگل از دید یک کاربر به وب سایت شما نگاه می کنند پس مسدود شدن این موارد می تواند باعث لود شدن نادرست صفحات وب سایت شود و این مسئله خود می تواند در باعث ایجاد خطا و ایندکس نشدن سایت شود.
3- سعی کنید از دستورات پیچیده ای استفاده نکنید. اگر دستور خاصی مد نظرتان است آن را با کمک کد User-agent: * روی تمام ربات ها اعمال کنید.
اگر مایلید بعضی از صفحات وب سایت در گوگل اینکس نشود از متا تگ های هدر استفاده کنید. البته این کار زمانی کارایی دارد که تعداد صفحات کم باشد و یا انجام این فرآیند دشوار نباشد.

نتیجه گیری

ساخت یک فایل robots.txt زمان زیادی از شما نخواهد گرفت و نیازی به آزمون و خطای آن به صورت مستمر نیست. اگر به دنبال بررسی های بیشتر این ابزار هستید استفاده از ابزار آنلاین Google Search Console می تواند به شما در مدیریت این فایل کمک کند. در Google Search Console فایل robots.txt را مدیریت، ویرایش، بروز رسانی و اشکال زدایی کنید. پیشنهاد می شود از بروز رسانی مستمر این فایل خود داری کنید. بروزرسانی‌های مستمر این فایل اگرچه در روند فعالیت سایت شما به ظاهر تأثیر زیادی نخواهد گذاشت، اما می‌تواند منجر به پیچیده شدن فرآیند دسترسی ربات های گوگل به وب سایت شما شود. بهترین زمان برای ساخت یک فایل robots.txt درست بعد از راه اندازی وب سایت می باشد.

 

پاسخگوی سوالات شما هستیم سوال شما توسط کارشناسان پونه‌مدیا پاسخ داده شده و از طریق ایمیل اطلاع رسانی می شود

5
۱ دیدگاه
ثبت دیدگاه
  • 2
  • 0
  • 0
  • 0
  • 0
mohsen
 · 1401/10/28
نظر
در مورد نوشتن فایل robots.txt یه نکته جالبی که دیدم این هست که ترتیب نوشتن allow و disallow در نتیجه کار تاثیر داره.به این شکل:
User-agent:*
Allow:/about/company/
Disallow:/about/
در این حالت تمامی موتورهای جستجو از جمله گوگل و بینگ از دسترسی به مسیر about به غیر از ساب فولدر about/company منع می شوند.
ولی اگر به این شکل نوشته شود:
User-agent:*
Disallow:/about/
Allow:/about/company/
در این حالت تمامی موتورهای جستجو به غیر از گوگل و بینگ از دسترسی به مسیر about به غیر از ساب فولدر about/company منع می شوند.
نمایش بیشتر
0