دستورالعمل های ربات های متا (که گاهی تگ های متا نیز نامیده می شوند) کدهایی هستند که دستورالعمل های ردیاب ها را برای چگونگی ردیابی یا فهرست بندی محتوای یک صفحه وب فراهم می کنند. در حالی که دستورالعمل های فایل robots.txt پیشنهاداتی را در مورد چگونگی ردیابی صفحات وب سایت ارائه می دهند، دستورالعمل های ربات های متا راه کارهای استوارتری را در مورد چگونگی ردیابی و فهرست بندی محتوای صفحه در اختیار می گذارند.

با این مقاله از سلسله مقالات آموزش سئو همراه ما باشید.

دو نوع دستورالعمل ربات های متا وجود دارد : آن هایی که بخشی از صفحه HTML هستند (مانند تگ ربات های متا) و آن هایی که سرور وب به عنوان هدر HTTP ارسال می کند (مانند تگ x-robots). معیارهای مشابهی (مانند ردیابی و فهرست بندی دستورالعمل هایی مثل noindex و nofollow در مثال بالا که تگ متا فراهم می کند) می تواند در ربات های متا و تگ x-robots استفاده شود و تفاوت در چگونگی ارتباط آن پارامترها برای ردیابی است.

دستورالعمل های متا فرمان هایی را درباره چگونگی ردیابی و فهرست بندی اطلاعاتی که در یک صفحه وب می یابند به ردیاب ها می دهند. اگر این دستورالعمل ها توسط ربات ها کشف شوند پارامترهای آن ها پیشنهاداتی قوی را در مورد چگونگی فهرست بندی ردیاب ها در اختیار آن ها می گذارند. اما ردیاب ها مانند فایل های robots.txt مجبور به دنبال کردن دستورالعمل های متای شما نیستند، پس بدیهی است که برخی ربات های مخرب وب دستورالعمل های شما را نادیده بگیرند.

در زیر پارامترهایی آورده شده که هنگام استفاده از آن ها در دستورالعمل های ربات های متا توسط ردیاب های موتورهای جستجو درک و دنبال می شوند. این پارامترها نسبت به حروف حساسیت ندارند اما توجه داشته باشید که ممکن است برخی موتورهای جستجو فقط از زیرمجموعه ای از این پارامترها پیروی کنند یا ممکن است با برخی دستورالعمل ها به صورت کمی متفاوت تر رفتار کنند.

پارامترهای کنترل فهرست بندی (Indexation)

Noindex : به موتور جستجو می گوید که صفحه را ایندکس نکند.

Index : به موتور جستجو می گوید که صفحه را ایندکس کند. توجه کنید که نیازی به اضافه کردن این تگ متا نیست زیرا به صورت پیش فرض وجود دارد.

Follow : حتی اگر صفحه ایندکس نشده باشد، ردیاب باید همه لینک های موجود در صفحه را دنبال کند و از لینک اکوییتی به صفحات لینک شده عبور کند.

Nofollow : به ردیاب ها می گوید که هیچ لینکی را در صفحه دنبال نکنند یا از هیچ لینک اکوییتی عبور نکنند.

Noimageindex : به ردیاب می گوید که هیچ کدام از تصاویر موجود در صفحه را فهرست بندی نکند.

None : معادل استفاده همزمان از تگ های noindex و nofollow است.

Noarchive : موتورهای جستجو نباید لینکی ذخیره شده به این صفحه را در نتایج جستجوی خود نشان دهند.

Nocache : مانند noarchive است اما فقط توسط اینترنت اکسپلورر و فایرفاکس استفاده می شود.

Nosnippet : به موتور جستجو می گوید که هیچ متن واره ای (توضیحات متا) از این صفحه را در نتایج جستجوی خود نشان ندهد.

Noodyp/noydir (که منسوخ شده اند) : از استفاده از توضیحات DMOZ به عنوان متن واره (توضیحات متا) صفحه در نتایج جستجو جلوگیری میکند. اگرچه در اوایل سال ۲۰۱۷ استفاده از DMOZ کنار گذاشته شد و این تگ منسوخ شد.

Unavailable_after : موتورهای جستجو از تاریخی معین به بعد دیگر نباید این صفحه را ایندکس کنند.

انواع دستورالعمل های ربات های متا

دو نوع عمده از دستورالعمل های ربات های متا وجود دارد : تگ ربات های متا و تگ x-robots. هر پارامتری که بتوان آن را در تگ ربات های متا استفاده کرد می تواند در تگ x-robots نیز تعریف شود. درباره دستورالعمل های تگ ربات های متا و x-robots در پایین صحبت خواهیم کرد.

تگ ربات های متا

تگ ربات های متا که معمولاً با عنوان ” ربات های متا ” و اصطلاحاً ” تگ ربات ها ” شناخته می شود، بخشی از کد HTML صفحه وب است و به عنوان عناصر کد در بخش <head> صفحه وب نمایان می شود.

نمونه کد :

<meta name=“robots” content=“[PARAMETER]”>

 

در حالی که تگ <meta name=“robots” content=“[PARAMETER]”> استاندارد است، همچنین می توانید دستوالعمل هایی را برای ردیاب های خاص با جایگزین کردن ربات ها با نام یوزر ایجنتی خاص فراهم کنید. برای مثال جهت هدف قرار دادن دستورالعملی خاص در ربات گوگل باید از کد زیر استفاده کنید :

<meta name=“googlebot” content=“[DIRECTIVE]”>

 

می خواهید از بیش از یک دستورالعمل در صفحه استفاده کنید؟ تا زمانی که آن ها رباتی (یوزر ایجنتی) یکسان را هدف قرار داده اند، می توان دستورالعمل های متعدد را در یک دستورالعمل متا جایگذاری کرد، فقط آن ها را توسط ویرگول از هم جدا کنید. برای مثال :

<meta name=“robots” content=“noimageindex,” “nofollow,” “nosnippet”>

 

این تگ به ربات ها می گوید که هیچ تصویری را در صفحه فهرست بندی نکنند، هیچ لینکی را دنبال نکنند و هیچ توضیحات متا از صفحه را در نتایج جستجو نشان ندهند.

اگر از تگ ربات های متای متفاوتی برای یوزر ایجنت های متفاوت استفاده می کنید، نیاز دارید تا از تگ های جداگانه برای هر ربات استفاده کنید.

تگ X-robots

در حالی که تگ ربات های متا به شما اجازه می دهد تا چگونگی رفتار فهرست بندی را در سطح صفحه مشخص کنید، می توان تگ x-robots را در هدر  HTTP برای کنترل فهرست بندی تمام یک صفحه و یا هر کدام از عناصر صفحه استفاده کرد.

در حالی که می توانید از تگ x-robots برای اجرای تمام دستورالعمل های فهرست بندی یکسان مانند ربات های متا استفاده کنید، دستورالعمل تگ x-robots دارای انعطاف و عملکرد بیشتری نسبت به تگ ربات های متا است. x-robots مشخصاً اجازه می دهد تا از عبارت های منظم استفاده کنید، دستورالعمل های ردیابی را بر روی فایل های غیر HTML اجرا کنید و پارامترهای خود را سطح جهانی اعمال نمایید.

برای استفاده از تگ x-robots نیاز به دسترسی به هدر .php ، .htaccess یا فایل دسترسی سرور وب سایت خود دارید. از آنجا می توانید تنظیمات تگx-robots  مخصوص به سرور خود را که شامل همه پارامترهاست، اضافه کنید. این مقاله نمونه هایی عالی از تگ x-robots را در صورت استفاده از هر کدام از سه تنظیم ممکن ارائه می دهد.

در اینجا برخی از مواردی را که می توانید از تگ x-robots بهره ببرید آورده ایم :

  • کنترل فهرست بندی محتوایی که در HTML نوشته نشده است (مانند فایل فلش یا ویدئو)
  • مسدود کردن فهرست بندی عنصر خاصی از صفحه (مانند تصویر یا ویدئو) و نه تمام صفحه
  • کنترل فهرست بندی در صورتی که دسترسی به HTML صفحه ندارید (مخصوصاً بخش <head>) و یا سایت شما از هدر جهانی استفاده می کند که قابل تغییر نیست.
  • اضافه کردن قوانینی برای امکان فهرست بندی کردن یا نکردن صفحه (برای مثال اگر کاربری بیش از ۲۰ بار نظر داد صفحه پروفایل او را فهرست بندی کن)

 

بهترین روش های سئو با استفاده از دستورالعمل های ربات های متا

  • همه دستورالعمل های متا (ربات ها و غیره …) زمانی کشف می شوند که یک URL ردیابی شود. این بدان معناست که اگر یک فایل txt مانع ردیابی URL شود هر دستورالعمل متای موجود در صفحه (چه در HTML یا هدر HTTP) دیده نخواهد شد و کاملاً نادیده گرفته می شود.
  • در اکثر موارد استفاده از تگ ربات های متا با پارامترهای “noindex, follow ” باید به عنوان راهی برای محدود کردن ردیابی یا فهرست بندی و به جای اعمال ممنوعیت ها (disallow) در فایل txt استفاده شود.
  • مهم است که توجه داشته باشید که ردیاب های مخرب احتمالاً دستورالعمل های متا و مانند آن را به طور کامل نادیده می گیرند. این پروتکل مکانیزم امنیتی خوبی را نمی سازد.
  • اگر اطلاعات خصوصی دارید که نمی خواهید به صورت عمومی قابل جستجو باشند، نگرشی ایمن تر مانند استفاده از رمز عبور را انتخاب کنید، تا مانع دیدن صفحات محرمانه توسط بازدیدکنندگان شوید.
  • نیازی به استفاده هم زمان از تگ ربات های متا و x-robots در یک صفحه ندارید و انجام آن کاری زائد است.