محتوای تکراری چیست؟

محتوای تکراری محتوایی است که بیش از یک جا در اینترنت وجود دارد. آن یک جا تعیین کننده مکانی با یک آدرس وب سایت (URL) است – اگر  یک محتوا در بیش از یک آدرس وب قرار بگیرد، آن را محتوای تکراری می گویند.

در حالی که محتوای تکراری مشمول مجازاتی نمی شود اما گاهی اوقات می تواند بر روی رتبه بندی و رنک موتور جستجو تاثیر بگذارد. هنگامی که موتور جستجو با محتواهای متعددی که بسیار شبیه هم هستند در چند مکان بر روی اینترنت مواجه می شود، برای آن ها سخت است تا تصمیم بگیرند که کدام محتوا مرتبط تر با عبارت جستجو شده است.

با این مقاله از سلسله مقالات آموزش سئو همراه ما باشید.

چرا محتوای تکراری اهمیت دارد؟

برای موتورهای جستجو

محتوای تکراری می تواند سه مشکل عمده را برای موتورهای جستجو بیافریند :

۱. نمی دانند که باید کدام نسخه را در فهرست بندی خود وارد کرده و یا از آن حذف کنند.

۲. نمی دانند که معیارهای لینک (اعتماد، قدرت، متن لنگر، تساوی لینک و غیره) را به یک صفحه هدایت کنند یا آن را بین نسخه های مختلف جدا نگه دارند.

۳. نمی دانند کدام نسخه را در نتایج جستجو (SERP) رتبه بندی کنند.

برای صاحبان سایت

هنگامی که محتوای تکراری وجود دارد صاحبان سایت متحمل تنزل رتبه و ترافیک می شوند.

این تنزل ها اغلب ریشه در دو مشکل عمده دارد :

۱. موتورهای جستجو برای به وجود آوردن یک تجربه جستجوی خوب به ندرت نسخه های متعدد از یک محتوا را نشان می دهند، بنابراین مجبورند تا نسخه ای را انتخاب کنند که بهترین نتیجه باشد.

۲. تساوی لینک از بین خواهد رفت زیرا سایت های دیگر نیز باید میان محتواهای تکراری دست به انتخاب بزنند. به جای استفاده از لینک های داخلی که همه به یک محتوا اشاره دارند، به محتواهای متعدد لینک می دهند تا تساوی لینک را میان محتواهای تکراری گسترش دهند. چون لینک های داخلی یکی از عوامل رتبه بندی هستند، می توانند بر روی قابلیت دیده شدن محتوا تاثیر بگذارند.

نتیجه نهایی اینکه محتوای تکراری قابلیت دیده شدن در جستجو را به دست نمی آورد، مگر اینکه خلافش ثابت شود.

مسائل مربوط به محتوای تکراری چگونه اتفاق می افتند؟

در اکثر موارد، صاحبان سایت عمداً محتوای تکراری ایجاد نمی کنند اما این به معنای عدم وجود آن نیست. در واقع نزدیک به ۲۹ درصد از وب را محتوای تکراری تشکیل می دهد.
بیایید نگاهی به چگونگی به وجود آمدن محتوای تکراری غیر عمدی بیاندازیم:

۱. تغییرات URL

پارامترهای URL مانند ردیابی کلیک و برخی کدهای تجزیه و تحلیل می توانند موجب به وجود آمدن محتوای تکراری شوند. این مشکلی است که فقط توسط خود پارامترهای به وجود نمی آید بلکه ترتیب آشکار شدن این پارامترها در URL نیز تاثیر گذار است.

برای مثال:

  • www.widgets.com/blue-widgets?color=blue is a duplicate of www.widgets.com/blue-widgets
  • www.widgets.com/blue-widgets?color=blue&cat=3 is a duplicate of www.widgets.com/blue-widgets?cat=3&color=blue

شناسه های جلسه (session IDs) یکی از سازندگان رایج محتوای تکراری هستند. این موضوع زمانی رخ می دهد که هر کاربری که از وب سایتی بازدید می کند به او یک شناسه جلسه متفاوت تعلق می گیرد که در URL ذخیره می شود.

هنگامی که نسخه های گوناگونی از صفحات فهرست بندی می شوند، نسخه هایی از محتوا که مناسب چاپ هستند، می توانند موجب به وجود آمدن محتوای تکراری شوند.

درسی که در اینجا وجود دارد این است که تا جایی که ممکن است، از اضافه کردن پارامترهای URL یا نسخه های گوناگون URL بپرهیزید (اطلاعاتی که آن ها دارند می تواند از طریق اسکریپت ها منتقل شود).

۲. HTTP در مقابل HTTPS یا صفحات دارای WWW در مقابل صفحات فاقد WWW

اگر سایت شما شامل نسخه های جداگانه ای مانند www.site.com و site.com می باشد(با و بدون پیشوند www) و محتوای یکسانی در هر دو نسخه وجود دارد، در حقیقت نسخه های تکراری از آن صفحات را ایجاد کرده اید. همین واقعیت درباره نسخه های http:// و https:// نیز صدق می کند. اگر هر دو نسخه یک صفحه کار کند و برای موتورهای جستجو قابل رویت باشد، احتمالاً با مشکل محتوای تکراری مواجه خواهید شد.

۳. محتوای کپی شده یا چند تکه شده

محتوا فقط شامل پست های وبلاگ یا مقاله ها نیست بلکه شامل صفحه اطلاعات محصولات نیز هست. ممکن است دزدان محتوا که محتوای وبلاگ شما را بر روی سایت خود بازنشر می کنند، منبع شناخته شده ای از محتوای تکراری باشند. اما همین مشکل نیز برای سایت های تجارت الکترونیک نیز وجود دارد : اطلاعات محصول. اگر سایت های مختلف اقلام مشابهی را بفروشند، و همه از توضیح تولید کننده محصول استفاده کنند، محتوای یکسان مکان های متعدد در سر تا سر وب را فرا می گیرد.

چگونه مشکلات محتوای تکراری را رفع کنیم؟

رفع مشکل محتوای تکراری به یک ایده مرکزی بر می گردد : مشخص کردن اینکه کدام یک از محتواهای تکراری، محتوای صحیح است.

هرگاه محتوای بر روی یک سایت را بتوان در URLهای گوناگون پیدا کرد، باید برای موتورهای جستجو کانالیزه یا به عبارتی استاندارد سازی بشوند. بگذارید سه راهی را که برای این کار وجود دارد بیان کنیم :۱. استفاده از تغییر مسیر ۳۰۱ برای راهنمایی دوباره به URL صحیح،۲. ویژگی rel=canonical یا ۳. استفاده از ابزار اداره پارامتر در کنسول جستجوی گوگل.

تغییر مسیر ۳۰۱

در برخی موارد بهترین راه مبارزه با محتوای تکراری استفاده از تغییر مسیر ۳۰۱ برای هدایت از صفحه تکراری به صفحه محتوای اصلی است. هنگامی که صفحات گوناگون با پتانسیل رتبه بندی خوب ترکیب شده و به صورت یک صفحه واحد در می آیند، نه تنها دیگر با یکدیگر به رقابت نمی پردازند بلکه بطور کلی سیگنال قوی تری از ارتباط و محبوبیت را ایجاد می کنند. این کار تاثیر مثبتی بر قابلیت رتبه بندی صفحه صحیح می گذارد.

Rel=”canonical”

گزینه دیگر برای برخورد با محتوای تکراری استفاده از ویژگی  rel=canonical است. این ویژگی به موتورهای جستجو می گوید که هر صفحه را یک کپی از URL مشخص تلقی کنند و همه لینک ها، معیارهای محتوا و قدرت رتبه بندی، که موتورهای جستجو بر روی این صفحه اعمال می کنند باید بخشی از اعتبار URL مشخص شده باشد.

ویژگی rel=”canonical” بخشی از هِد HTML صفحه وب و قالب آن شبیه به این است :

قالب کلی :

<head>

…کد دیگری که ممکن است در هِد HTML سند وجود داشته باشد…

<link href=”URL OF ORIGINAL PAGE” rel=”canonical” />

…کد دیگری که ممکن است در هِد HTML سند وجود داشته باشد…

</head>

ویژگی rel=”canonical” باید به هِد HTML هر نسخه تکراری از صفحه اضافه شده و یک لینک  به صفحه اصلی باید جایگزین عبارت “URL OF ORIGINAL PAGE” در کد بالا شود. (مطمئن شوید که علامت نقل قول را نگه می دارید). این ویژگی همان میزان از تساوی لینک (قدرت رتبه بندی) را از خود عبور می دهد که تغییر مسیر ۳۰۱ نیز عبور می دهد و چون در سطح صفحه (به جای سطح سرور) اجرا می شود، نیاز به زمان توسعه کمتری برای اجرا دارد.

در زیر نمونه ای از عملکرد این ویژگی نشان داده شده است :

در اینجا می توانیم ببینیم که BuzzFeed از ویژگی rel=”canonical” برای تطبیق معیارهای URL خود استفاده کرده است (که در این مورد، ردیابی کلیک است).اگرچه که می توان از طریق دو URL مختلف به این صفحه دسترسی داشت، با استفاده از ویژگی rel=”canonical” مطمئن می شویم که همه معیارهای محتوا و تساوی لینک به صفحه اصلی اعطا می شود (/no-one-does-this-anymore).

متا ربات های Noindex

یکی از تگ های متایی که مخصوصاً می تواند در محتوای تکراری کاربرد داشته باشد استفاده از ربات های متا همراه با مقادیر “noindex, follow” می باشد که معمولاً به صورت متای Noindex,Follow و از لحاظ فنی به صورت content=”noindex,follow” شناخته می شوند. این تگ ربات های متا می تواند منحصراً به هِد HTML آن صفحه هایی اضافه شود که نمی خواهید توسط موتورهای جستجو فهرست بندی شوند.

قالب کلی:

<head>
…هر کد دیگری که ممکن است در هِد HTML سند شما وجود داشته باشد…
<meta name=”robots” content=”noindex,follow”>
…هر کد دیگری که ممکن است در هِد HTML سند شما وجود داشته باشد…
</head>

تگ ربات های متا به موتورهای جستجو اجازه می دهد تا لینک های داخلی یک صفحه را ردیابی کنند اما به آن ها اجازه نمی دهد تا این لینک ها را در فهرست بندی خود قرار دهند. مهم است بدانید حتی زمانی که به گوگل می گویید صفحه تکراری شما را فهرست بندی نکند اما با این وجود آن صفحه هنوز می تواند ردیابی شود زیرا گوگل صراحتاً علیه محدود کردن دسترسی ردیابی به محتوای تکراری موجود بر روی وب سایت شما هشدار می دهد. (موتورهای جستجو دوست دارند تا بتوانند همه چیز را اعم از مواردی که در کدنویسی دچار خطا شده اید، مشاهده کنند. این کار به آن ها اجازه می دهد تا با ساختن یک سیستم قضاوت خودکار بتوانند هنگام مواجه شدن با شرایط مبهم مشابه عمل کنند.

استفاده از ربات های متا راه حلی مناسب برای مشکلات محتوای تکراری مربوط به صفحه بندی است.

دامنه دلخواه و بررسی پارامتر در کنسول جستجوی گوگل

کنسول جستجوی گوگل به شما اجازه می دهد تا دامنه دلخواه خود را انتخاب کنید (برای مثال http://yoursite.com به جای http://www.yoursite.com ) و مشخص کنید که آیا ربات گوگل باید پارامترهای URL گوناگون را ردیابی کند یا خیر (بررسی پارامتر).

بسته به ساختار URL شما و دلیل مشکلات محتوای تکراری می توانید هم دامنه دلخواه و هم بررسی پارامتر (یا هر دو) را راه اندازی کنید.

مشکل اصلی استفاده از ” بررسی پارامتر ” به عنوان روش اولیه برای رسیدگی به محتوای تکراری این است که تغییراتی که انجام می دهید فقط برای گوگل کار می کند. هر قاعده ای که بر اساس کنسول جستجوی گوگل وضع می کنید بر روی چگونگی تفسیر وب سایت شما توسط ردیاب های بینگ یا دیگر موتورهای جستجو هیچ تاثیری ندارد. به همین دلیل مجبورید تا از ابزارهای مدیریت وب برای دیگر موتورهای جستجو استفاده کرده و علاوه بر آن تنظیمات کنسول جستجو را نیز انجام دهید.

روش های دیگر برای مقابله با محتوای تکراری

۱. هنگام ایجاد لینک داخلی در سر تا سر یک وب سایت ثبات داشته باشید. برای مثال هنگامی که مدیر وب مشخص می کند که نسخه اصلی دامنه ای به صورت www.example.com/ است، بنابراین همه لینک های داخلی باید با آدرس http://www.example.com/example ایجاد شوند و از ایجاد آن ها به صورت  http://example.com/page خودداری شود (به نبود www توجه کنید).

۲. هنگامی که اتحادیه ای از محتوا را تشکیل می دهید، مطمئن شوید که وب سایت اتحادیه شده لینک بازگشتی را به محتوای اصلی ایجاد می کند، نه اینکه فقط URL را تغییر دهد. (برای کسب اطلاعات بیشتر بخش تخته سفید جمعه ما را که درباره محتوای تکراری است مطالعه کنید).

۳. برای ایجاد امنیت بیشتر در مقابل سارقان محتوا که اعتبار سئوی محتوای شما را به سرقت می برند، اضافه کردن یک لینک خود ارجاعی rel=canonical به صفحات موجود کار هوشمندانه ای است. این یک ویژگی استاندارد است که به URL موجود اشاره می کند و هدف آن خنثی کردن تلاش های سارقان محتوا است.

یک لینک خود ارجاعی rel=canonical : URL که در تگ rel=canonical مشخص شده است مشابه URL همین صفحه است.

در حالی که همه سارقان بر روی کد کامل HTML در منبع اصلی پورت نمی زنند اما برخی از آن ها این کار را می کنند. برای آن هایی که این کار را می کنند تگ rel=canonical خود ارجاعی این اطمینان را می دهد که نسخه سرقت شده سایت شما اعتبار کسب شده را به نسخه اصلی محتوا باز می گرداند.