وقتی حرف از سئو می‌شود، قاعدتاً به ایندکس شدن سایت فکر می‌کنیم. نه؟ به این که صفحات سایتمان به سرعت توسط ربات‌های گوگل دیده شوند و خیلی زود در موتورهای جست‌وجو بنشینند. اما ایندکس شدن سایت همیشه هم چیزی نیست که ما سئوکارها بخواهیم. مثل وقت‌هایی که پیامی را به اشتباه برای کسی می‌‌فرستیم و سریع پشیمان می‌شویم. این‌طور وقت‌ها اولین چیزی که به ذهن‌مان می‌رسد این است که هرطور شده، از رسیدن پیام به آن مخاطب اشتباه جلوگیری کنیم.
جلوگیری از ایندکس شدن سایت هم همین حکم را دارد. خب بیایید ببینیم در چه مواقعی و چطور باید از ایندکس شدن صفحه‌های سایت جلوگیری کنیم.
کدام صفحه‌ها در سایت نیاز به ایندکس شدن ندارند؟
همه صفحه‌های سایت شما نیازی به ایندکس شدن در گوگل ندارند یا حتی از این هم شدیدتر؛ باید از ایندکس شدن‌شان جلوگیری کرد. مثلاً چه صفحه‌هایی؟
- لندینگ پیج‌هایی که تبلیغات در آن منتشر می‌شود
- صفحه‌های قدردانی از مشتریان یا کارفرمایان
- صفحات مربوط به قوانین و مقررات
- صفحات مدیریت سایت
- محتواهای تکراری
- محتواهای بی‌کیفیت
- و ...
قبل از این که تصمیم بگیرید کدام صفحات نوایندکس شوند، سایت را به طور کامل بررسی کنید و لیستی از این صفحه‌ها آماده کنید. از تمامی مراحل کارتان مستندسازی کنید تا همه چیز به طور کامل ثبت شود و چیزی از زیر دستتان در نرود.
چطور کاری کنیم که گوگل صفحات مورد نظر ما را ایندکس نکند؟
برای این کار 4 روش وجود دارد:
- استفاده از متا تگ noindex
- استفاده از X-Robots-Tag
- استفاده از فایل robots.txt
- استفاده از وبمستر گوگل
روش اول: استفاده از متا تگ noindex
ساده ترین و مؤثرترین روش جلوگیری از ایندکس شدن یک صفحه، تگ نو ایندکس است. این تگ دستورالعملی است که به گوگل می‌گوید این صفحه را ایندکس نکن و در نتیجه صفحه مورد نظر در نتایج جست و جو نشان داده نمی‌شود.
برای نوایندکس کردن یک صفحه باید تگ زیر را در قسمت <head> در HTML صفحه وارد کنید:
عملکرد این روش مثل تگ نو ایندکس است با این تفاوت که با استفاده از تگ X-ROBOTS می‌توانیم در موتورهای جست و جوی مختلف، تغییرات جزئی ایجاد کنیم. نکته ای که درباره این روش وجود دارد این است که تگ X-ROBOTS در مرورگرهای مختلف به شکل های متفاوتی وارد می‌شود و باید قلق آن را برای هر مرورگر پیدا کرد. مثلاً برای گوگل کروم می‌توانید از دو ابزار ModHeader یا Modify Header Value استفاده کنید. بیایید چند مثال ببینیم که چطور از این تگ استفاده می‌شود:
| برای خارج کردن صفحه از ایندکس | X-Robots-Tag: noindex |
| برای قرار دادن قوانین مختلف برای موتورهای جست‌وجوی مختلف | X-Robots-Tag: googlebot: nofollow |
| X-Robots-Tag: otherbot: noindex, nofollow |
روش سوم: استفاده از فایل robots.txt
فایل robots.txt برای این استفاده می‌شود که به خزنده‌های موتورهای جست‌وجو بگوییم برخی از مسیرها را در سایت ما به طور کل دنبال نکنند. مثلاً اگر نخواهیم بعضی از تصاویرريال ویدئوها یا صفحات سایتمان در نتایج جست‌وجو نمایش داده شوند، از این روش استفاده می‌کنیم. البته باید این را بدانید که این روش کاملاً فنی است. برای این کار باید یک تکست فایل استاندارد ASCII یا UTF-8 بسازید و آن را در فولدر root وب‌سایت خود قرار دهید.
روش چهارم: استفاده از گوگل وبمستر یا سرچ کنسول گوگل
روش بعدی استفاده از سرچ کنسول گوگل است. در این روش از ابزار گوگل استفاده می کنیم تا برخی از urlها را به طور موقت از گوگل پنهان کنیم. البته فراموش نکنید که این روش فقط برای گوگل جواب می‌دهد و برای موتورهای جست و جوی دیگر قابل انجام نیست.
برای پیاده سازی این روش Remove URLs Tool را در سرچ کنسول باز کنید و گزینه Temporarily Hide را بزنید. بعد url مورد نظر را در آن قرار دهید و گزینه Clear URL from cache and temporarily remove from Search را بزنید. با این روش، صفحه مورد نظر همچنین تمام cacheها و اسنیپت‌های آن، به مدت 90 روز از گوگل پنهان می‌شود.
در آخر
جلوگیری از ایندکس شدن صفحه یا خارج کردن صفحه از ایندکس گوگل، ممکن است کمی زمانبر باشد. اگر دیدید که بعد از گذشت چند هفته صفحه مورد نظر هنوز در گوگل وجود دارد، احتمال به خاطر این است که آن صفحه هنوز توسط ربات‌های گوگل بررسی نشده. در چنین مواقعی به گوگل درخواست دهید که صفحه مورد نظر شما را مجدداً بررسی کند.