توی اینم مطلب قراره روش ها و راه های جلوگیری از ایندکس شدن مطالب و صفحات خاصی از سایت در موتور های جستجو و مشخصا گوگل رو بررسی کنیم. میخوای بدونی استفاده از Disallow در فایل رباتس robots.txt چه اشتباه بزرگیه؟ بزن بریم.

جلوگیری از ایندکس شدن صفحات سایت در گوگل

سلام دوستای خوبم. میدونید که می تونید به راحتی جلوی ایندکس شدن بعضی از صفحات سایت رو توی گوگل بگیرید؟ و می دونید اگه اشتباها و با روش نادرستی این کار رو انجام بدین، خیلی برای سئو بد میشه؟

در ادامه قراره روش های مختلفی که برای این کار وجود داره رو بررسی کنیم و بگیم هر کدومشون چه وقتایی کاربرد دارن. همراه باشید.

1- جلوگیری از ایندکس شدن صفحات سایت در گوگل با استفاده از Disallow کردن در فایل رباتس robots.txt

خوب این روش بیشترین کاربرد رو داره چون خیلی راحته. اما بدترین اثرات جانبی رو داره.

تا حالا شده امتحان کنی و سعی کنی بعضی از صفحات سایت رو با استفاده از فایل رباتس از ایندکس گوگل حذف کنی؟

مثلا فرض کن صفحه example.com/articles/seo.html رو از ایندکس ها حذف کنی اونم با این روش.

راهش اینه که بری توی هاست یا سرور سایتت و فایل رباتس یا robots.txt رو پیدا کنی.

بعد توش بنویسی:

Disallow: /articles

یا

Disallow: /articles/seo.html

یا حتی میشه

Disallow: /seo.html

نوشت و با خیال راحت فکر کرد که این صفحه دیگه ایندکس نمیشه.

Disallow: ... چیکار میکنه؟

اگه بدونید این کد چیکار میکنه و چه بلایی سر ربات گوگل میاره، دیگه ازش استفاده نمی کنید.

این کد یعنی:

ربات محترم گوگل، لطفا اون آدرسی که بهت دادم، بازش نکن و اصلا کاریش نداشته باش قربون شکل ماهت :P

حالا ببینیم ربات گوگل وقتی این کد توی فایل رباتس رو دیده، چیکار می کنه.

فرض کنید شما یه فایل دارید در آدرس /articles/image-1.png

گوگل این عکس رو هیچوقت نمیبینه ! و ایندکسش هم نمیکنه.

فرض کنید یه لینکی یه جای این کره خاکی به صفحه example.com/articles/seo.html وجود داره.

سوال: آیا این صفحه ایندکس میشه؟

جواب: بله ایندکس میشه !

چرا؟

چون این صفحه لینک داره و شما از ربات گوگل خواستید که اصلا به این مسیر نره ! نگفتید که ایندکسش نکن !

جا داره به معنی لغوی Disallow بپردازیم

Disallow: اجازه ندادن، مخالف Allow به معنی اجازه دادن

 پس اینطوری میشه که اون صفحه کماکان ایندکس میشه ولی مثل فلجا !

بر اساس آزمایشی که در آزمایشگاه سئو سایت استوری انجام شده، صفحاتی که از اول توی فایل رباتس Disallow شده بودن، با شرایط خاصی ایندکس شدن:

آزمایش ایندکس شدن صفحات بلاک شده توسط فایل رباتس

اتفاق جالب دیگه ای که ممکنه بیفته وقتیه که مثلا شما توی وردپرس، دایرکتوری wp-admin رو Disallow می کنید. بعد خیلی وقتا خیلی از افزونه ها فایل های js یا CSS اشون توی این دایرکتوری هستن و باعث میشه گوگل نتونه اون فایل ها رو باز کنه ! خیلی خطرناکه این کار و ممکنه باعث بشه گوگل فکر کنه شما به دلیلی میخواید این فایل ه رو از دسترسش خارج کنید.

کلا حواستون باشه که فایل های CSS و js Disallow نشده باشن.

2- جلوگیری از ایندکس شدن صفحات با استفاده از متا تگ رباتس meta tag robots

 این کار، راه درست جلوگیری از ایندکس شدن صفحات هستش !

کافیه صفحاتی که میخواید توی گوگل ایندکس نشن، یه متا تگ داخل اون ها باشه:

<meta name="robots" content="noindex" />

این متا تگ رو ربات گوگل وقتی داره صفحه رو میخونه میبینه و میفهمه که این صفحه رو نباید ایندکس بکنه.

راه دیگه برای اینکه مثلا بخواید فقط صفحه ای توی گوگل ایندکس نشه ( مثلا توی بینگ و یاهو ایندکس بشه ) اینه که از این متاتگ استفاده کنید:

<meta name="googlebot" content="noindex" />

این باعث میشه که صفحه فقط توی گوگل ایندکس نشه.

این کار شاید یه کمی سخت به نظر بیاد:

خوب من برم کد بزنم؟ توی سایت وردپرسیم!

راه حل:

افزونه Yoast SEO وردپرس این امکان رو میده که به هر صفحه جداگونه این متاتگ رو اضافه کنید تا جلوی ایندکس شدنش رو بگیره.

خبر خوب برای کاربران جوملا !

به راحتی می تونید توی منو ها و صفحات، در بخش Publishing، متا تگ robots رو تعیین کرد و نیازی به افزونه نیست.

3- استفاده از http response heaeder

این دیگه خیلی فنیه. دوستان تا همینجا خوشحال شدم که بودید. این کار نیازی به انجامش نیست تا وقتی که روش دوم وجود داره.

اما به هر حال اینم یه راهه برای جلوگیری از ایندکس شدن صفحات !

برای این روش، باید Response header ها، یه مورد رو درون خودشون داشته باشن: X-Robots-Tag

هدر کامل به صورت: X-Robots-Tag: noindex هست.

امیدوارم خوش گذشته باشه و یه چیز جدید یاد گرفته باشین.

مواظب خودتون باشید گودبای تا آموزش بعدی :)

منابع:

Block search indexing with 'noindex'