در همه سال‌هایی که به عنوان مشاور سئو فعالیت داشته‌ام همواره شاهد این بوده‌ام که مشتری‌ها تصور غلطی از نقشه‌های سایت XML دارند. این ابزار مطمئناً ابزاری قدرتمند است اما درست مانند هر ابزار قدرتمند دیگری، کمی آموزش و داشتن پیشینه در مورد چگونگی کار کردن بیت‌ها بحثی طولانی است که در این مقاله آموزش سئو به آن می‌پردازیم.

ایندکسیشن (فهرست‌بندی)

احتمالاً رایج‌ترین تصور غلط این است که نقشه سایت XML به ایندکس شدن صفحات کمک می‌کند. اولین چیزی که باید درست کنیم این است : گوگل به دلیل درخواست خوب‌تان صفحات شما را ایندکس نمی‌کند. گوگل صفحات را ایندکس می‌کند چون ۱- آن‌ها را پیدا کرده و ردیابی کرده و ۲- از لحاظ کیفیت آن‌ها را آنقدر خوب تشخیص داده که ارزش ایندکس شدن داشته‌اند. اشاره به گوگل در یک صفحه و درخواست ایندکس کردن واقعاً عامل موثری نیست. با این توضیح، مهم است توجه داشته باشید که با ارسال یک نقشه‌سایت XML به کنسول جستجوی گوگل در واقع به گوگل می‌گویید که تشخیص داده‌‌اید صفحات موجود در نقشه سایت XML ، صفحات فرود با کیفیتی هستند و ارزش ایندکس شدن را دارند. اما این فقط یک نشانه است که می‌گوید این صفحات مهم هستند، درست همانطور که لینک دادن به صفحه‌ای در منوی اصلی مهم است. [ افسانه ها و تصورات غلط درباره موتورهای جستجو ]


ثبات

یکی از رایج‌ترین اشتباهاتی که می‌بینم مشتری‌ها مرتکب می‌شوند فقدان ثبات در پیام‌رسانی به گوگل در مورد صفحه‌ای خاص است. اگر صفحه‌ای را در robots.txt مسدود کنید و سپس آن را در نقشه سایت XML قرار دهید، گویا می‌خواهید کسی را اذیت کنید. نقشه سایت شما می‌گوید که : گوگل این یکی از صفحات بسیار خوب من است که باید ایندکس شود اما فایل robots.txt شما خلاف این را می‌گوید. همین موضوع در مورد ربات‌ های متا نیز صحیح است : هیچ‌گاه صفحه‌ای که ربات‌های متای ” noindex,follow” را برای آن تنظیم کرده‌اید در نقشه سایت XML قرار ندهید. حالا که حرفش شد بگذارید تا کمی در مورد ربات‌ های متا بگویم : ” noindex” یعنی صفحه را ایندکس نکن. ” Nofollow” یعنی هیچ چیزی در مورد این صفحه وجود ندارد، یعنی لینک‌های خارج از این صفحه را دنبال نکن، یعنی بیخیال همه لینک جویس شدن. احتمالاً دلیل مبهمی برای استفاده از ” noindex,nofollow” در ربات‌های متا وجود دارد اما درک آن برای من مشکل است. اگر می‌خواهید گوگل صفحه‌ای را ایندکس نکند، از ” noindex,follow” در ربات‌های متا استفاده کنید.

به طور کلی می‌خواهید که هر صفحه از سایت‌تان در یکی از این دو سطل قرار بگیرد :

۱- صفحات کاربردی (که برای کاربران مفید است اما چیزی نیست که به عنوان صفحه فرود جستجو انتظارش را داشته باشید).

۲- صفحات فرود جستجویی که با کیفیت هستند.

هر چیزی که در سطل ۱ وجود دارد باید توسط robots.txt و یا ربات‌های متای ” noindex,follow” مسدود شود و نباید آن‌ها را در نقشه سایت XML قرار داد.

همه چیزهایی که در سطل ۲ وجود دارد نباید در robots.txt مسدود شود، نباید دارای ربات‌های متای ” noindex” باشد و احتمالاً باید در نقشه سایت XML قرار داشته باشد.


کیفیت کلی سایت

به نظر می‌رسد که گوگل میزانی برای سنجش کیفیت کلی سایت دارد  و از این معیار برای تاثیرگذاری بر روی رتبه‌بندی‌ها استفاده می‌کند، البته منظورم در اینجا لینک جویس (Link Juice) نیست.

از دیدگاه گوگل به آن فکر کنید. فرض کنید صفحه‌ای عالی دارید که پر از محتوای بی‌نظیر است و موجب تیک زدن همه گزینه‌ها از ارتباط گرفته تا پاندا و شبکه‌های اجتماعی می‌شود. فرض کنید گوگل ببیند که سایت‌تان حاوی ۱۰۰۰ صفحه محتواست اما فقط ۴ یا ۵ صفحه چنین عالی هستند و کاربری را به یکی از این صفحات عالی بفرستد، او بر روی یکی از لینک‌های موجود در صفحه کلیک کرده و با چیز دیگری در سایت‌ تان مواجه می‌شود، آنگاه تجربه کاربری چگونه خواهد بود؟ احتمال اینکه کاربر وارد صفحه‌ای بد شود بسیار زیاد است. این یک تجربه کاربری بد است. چرا آن‌ها باید کاربری را به چنین سایتی بفرستند؟

مطمئناً مهندسان گوگل می‌فهمند که هر سایتی تعدادی صفحات کاربردی دارد که برای کاربران مفید است اما آن‌ها ضرورتاً صفحات حاوی محتوایی نیستند که به عنوان صفحات فرود از جستجو مورد استفاده قرار بگیرند، بلکه صفحاتی هستند که محتوا را با دیگران به اشتراک گذاشته، به کامنت‌ها پاسخ داده، می‌توان در آن‌ها لاگین کرد، بسیاری از پسوردها را بازیابی کرد و…

اگر نقشه سایت XML شما حاوی همه این صفحات باشد با گوگل چه ارتباطی خواهید داشت؟ کم و بیش هیچ نشانی از چیزهایی که محتواهای خوب و بد شما در سایت را تشکیل می‌دهند ندارید.

در عوض می‌توانید چنین تصویری را برای گوگل ترسیم کنید. بله در اینجا سایتی حاوی ۱۰۰۰ صفحه داریم و ۴۷۵ عدد از این صفحات حاوی محتواهایی عالی هستند. می‌توانید بقیه صفحات را نادیده بگیرید زیرا صفحات کاربردی هستند. حالا فرض کنیم که گوگل آن ۴۷۵ صفحه را ردیابی می‌کند و بسته به معیارهای خود تشخیص می‌دهد که ۱۷۵ صفحه دارای امتیاز “A” ، ۲۰۰ صفحه دارای امتیاز “B+” و ۱۰۰ صفحه نیز دارای امتیاز “B” یا “B-“ هستند. این یک میانگین کلی خیلی خوب است و احتمالاً نشان‌دهنده یک سایت مستحکم است که می‌توان کاربران را به آن هدایت کرد.

در مقابل تصور کنید که سایتی همه ۱۰۰۰ صفحه خود را از طریق نقشه سایت XML ارسال می‌کند. حالا گوگل به این ۱۰۰۰ صفحه‌ای که می‌گویید خوب هستند نگاهی انداخته و می‌بیند که ۵۰% آن‌ها صفحاتی با امتیاز “D” یا “F” هستند. سایت شما به طور میانگین بد است و احتمالاً گوگل نمی‌خواهد که کاربران را به چنین سایتی هدایت ‌کند.


اشتباه پنهان

به یاد داشته باشید که گوگل چیزی که در نقشه سایت XML خود ارسال می‌کنید را به عنوان نشانه‌ای از چیزهای مهم در سایت‌تان تلقی می‌کند.
اما اگر صفحه‌ای در نقشه سایت XML شما وجود نداشت ضرورتاً به این معنی نیست که گوگل آن را نادیده می‌گیرد. هنوز هم می‌توانید هزاران صفحه داشته باشید که دارای محتوای کافی و لینک اکوییتی مناسب بوده و ایندکس می‌شوند اما واقعاً نباید چنین باشد.
خیلی مهم است که عملیات site: search را در سایت خود انجام دهید تا همه صفحاتی که گوگل ایندکس می‌کند را دیده و صفحاتی را که فراموش کرده‌اید پیدا کنید، سپس با استفاده از ربات‌های متای “noindex,follow” (یا مسدودسازی در robots.txt) آن‌ها را از “امتیاز میانگینی” که گوگل به سایت شما داده پاک کنید. به طور کلی صفحات ضعیفی که هنوز هم ایندکس می‌شوند در عملیات site: search در آخر لیست قرار می‌گیرند.


Noindex در مقابل robots.txt

تفاوتی ظریف اما مهم میان استفاده از ربات‌های متا و robots.txt برای جلوگیری از ایندکس شدن یک صفحه وجود دارد. استفاده از ربات‌های متای “noindex,follow” به لینک اکوییتی اجازه می‌دهد تا به آن صفحه رفته و به صفحاتی که به آن‌ها لینک داده است دسترسی داشته باشد. اگر صفحه‌ای را با استفاده از robots.txt مسدود کنید گویا که آن را به کلی نابود کرده‌اید.

در مثال بالا صفحاتی را مسدود کرده‌ام که صفحات واقعی نیستند – آن‌ها اسکریپت‌های ردیابی هستند – پس لینک اکوییتی را از دست نمی‌دهم زیرا این صفحات دارای هدری که حاوی لینک‌های منوی اصلی باشند نیستند.

برای مثال احتمالاً صفحاتی مانند “تماس با ما” یا “سیاست حفظ حریم خصوصی”  توسط تمامی صفحات سایت شما و از طریق منوی اصلی یا منوی فوتر لینک شده‌اند. بنابراین مقدار بسیار زیادی از لینک جویس به آن صفحات تعلق می‌گیرد، آیا می‌خواهید آن را دور بیاندازید؟ یا ترجیح می‌دهید که آن لینک اکوییتی در همه چیزهای موجود در منوی اصلی‌تان جریان پیدا کند؟ پاسخ این سوال ساده است، اینطور نیست؟


ردیابی مدیریت پهنای باند

در عوض چه زمانی باید از robots.txt استفاده کنید؟ شاید زمانی که با مشکلات ردیابی پهنای باند مواجه باشید و Googlebot نیز زمان زیادی را صرف جذب صفحات کاربردی کرده تا ربات‌های متای “noindex,follow” را در آن‌ها کشف کند. اگر صفحات بسیار این چنینی دارید که موجب می‌شود Googlebot به صفحات مهم شما دسترسی نداشته باشد، در این صورت بهتر است از مسدودسازی توسط robots.txt استفاده کنید.
تعدادی از مشتریان بودند با حذف نقشه‌های سایت XML و استفاده از noindex برای صفحات کاربردی خود، شاهد بهبود رتبه‌بندی‌ها بوده‌اند.

آیا واقعاً ۶۰۰۰ تا ۲۰٫۰۰۰ صفحه دارم که باید به صورت روزانه ردیابی شوند؟ یا Googlebot به دنبال تعقیب URLهای پاسخ کامنت‌ها یا به اشتراک‌گذاری از طریق ایمیل است؟ اگر یک مجموعه از صفحات اصلی دارید که محتوای آن‌ها به طور منظم تغییر می‌کند (مانند وبلاگ، محصولات جدید، یا صفحات دسته‌بندی محصولات) و یک تن از صفحاتی دارید که خوب است گوگل آن‌ها را ایندکس کند (مانند صفحات تک محصولی) اما وسعت ردیابی و ایندکس کردن آن‌ها به اندازه صفحات اصلی نیست، می‌توانید صفحات اصلی را از طریق نقشه سایت XML ارسال کرده تا به گوگل نشان دهید که این صفحات برایتان مهم‌تر از آن‌هایی است که مسدود نشده‌اند اما در نقشه سایت نیز نیستند.


حل مشکل ایندکسیشن

اینجا جایی است که نقشه سایت XML واقعاً برای سئوکارها مفید است: هنگامی که تعدادی از صفحات را برای ایندکس شدن به گوگل می‌فرستید و در واقع فقط برخی از آن‌ها ایندکس می‌شوند. کنسول جستجوی گوگل به شما نمی‌گوید که چه صفحاتی را ایندکس می‌کند بلکه فقط تعداد کلی صفحات ایندکس شده در هر نقشه سایت XML را به شما می‌گوید.

فرض کنید که یک سایت تجارت الکترونیک هستید و ۱۰۰٫۰۰۰ صفحه محصول، ۵٫۰۰۰ صفحه دسته‌بندی و ۲۰٫۰۰۰ صفحه زیرمجموعه دارید. نقشه سایت XML خود را که حاوی ۱۲۵٫۰۰۰ صفحه است ارسال می‌کنید اما متوجه می‌شوید که گوگل فقط ۸۷٫۰۰۰ صفحه را ایندکس می‌کند؛ اما کدام ۸۷٫۰۰۰ صفحه؟

اول از همه اینکه احتمالاً صفحات دسته‌بندی (رده) و زیرمجموعه‌های آن‌ها همگی برایتان اهداف جستجوی مهمی هستند. من یک category-sitemap.xml و subcategory-sitemap.xml ایجاد کرده و آن‌ها را به صورت جداگانه ارسال می‌کنم. انتظار دارید تا شاهد ایندکسیشن ۱۰۰% آن‌ها باشید و اگر به این مهم دست پیدا نکنید، می‌دانید که باید محتواهای بیشتری را در آن‌ها قرار داده و لینک جویس آن‌ها را افزایش دهید. ممکن است صفحاتی مانند صفحات رده محصولات یا زیرمجموعه‌های آن‌ها را پیدا کنید که به دلیل وجود فقط ۱ محصول در آن‌ها (یا نداشتن هیچ محصولی) ایندکس نمی‌شوند، که در این مورد احتمالاً بخواهید از ربات‌های متای “noindex,follow” در آن‌ها استفاده کرده و آن‌ها را از نقشه سایت XML بیرون بکشید.

احتمال این وجود دارد که مشکل در برخی از ۱۰۰٫۰۰۰ صفحه محصول باشد – اما کدامیک؟

با یک فرضیه شروع کنید و برای تست آن، صفحات محصول خود را به نقشه‌های سایت XML مختلف تقسیم کنید. می‌توانید به طور هم زمان چند فرضیه ایجاد کنید – مشکلی با وجود یک URL در نقشه‌های سایت متعدد نیست.

می‌توانید با سه تئوری آغاز کنید :

۱- صفحاتی که فاقد تصویر محصول هستند ایندکس نمی‌شوند.

۲- صفحاتی که حاوی کم‌تر از ۲۰۰ کلمه توضیح منحصر به فرد هستند ایندکس نمی‌شوند.

۳- صفحاتی که فاقد بخش گزارشات/کامنت‌ها هستند ایندکس نمی‌شوند.

یک نقشه سایت XML با تعداد قابل توجهی از صفحات ایجاد کنید که مربوط به یکی از آن رده‌ها (دسته‌بندی‌ها) باشد. لازم نیست که همه صفحات در آن رده وجود داشته باشند. فقط سایز نمونه باید به مقدار کافی باشد تا بتوان بر اساس ایندکسیشن نتیجه‌گیری معقولانه‌ای کرد. برای مثال می‌توانید در هر کدام ۱۰۰ صفحه را قرار دهید.

هدف شما در اینجا استفاده از درصد کلی ایندکسیشن هر نقشه سایت برای تعیین خصیصه‌هایی است که موجب ایندکس شدن یا نشدن صفحات می‌شود.

زمانی که بدانید مشکل چیست می‌توانید محتوای صفحه (یا لینک‌های داده شده به صفحه) را اصلاح کرده یا از noindex برای صفحات استفاده کنید. برای مثال ممکن است توضیحات محصول ۲۰٫۰۰۰ از ۱۰۰٫۰۰۰ صفحه محصول‌تان حاوی کم‌تر از ۵۰ کلمه باشد.
اگر این‌ها شرایط ترافیکی بزرگی نیستند و توضیحات خود را از تولید کننده می‌گیرید احتمالاً ارزش ندارد تا ۲۰۰ کلمه توضیح اضافی را برای هر کدام از آن ۲۰٫۰۰۰ صفحه بنویسید. احتمالاً بخواهید تا ربات‌های متای ” noindex,follow” را برای همه صفحاتی که توضیحات محصول آن‌ها کم‌تر از ۵۰ کلمه است به کار ببرید، زیرا به هر حال گوگل آن‌ها را ایندکس نمی‌کند و آن‌ها کیفیت امتیازبندی سایت‌تان را به طور کلی پایین می‌آورند. همچنین فراموش نکنید که آن‌ها را از نقشه‌ سایت XML خود حذف کنید.


نقشه‌ سایت XML داینامیک

حالا می‌خواهم تا نقشه سایت XML خود را با ربات‌های متا در تمامی ۱۰۰٫۰۰۰ صفحه هماهنگ کنم و احتمالاً این اتفاق نخواهد افتاد.

نیازی نیست تا این کار را به صورت دستی انجام دهید. نیازی نیست تا نقشه‌های سایت XML فایل‌های استاتیک باشند. در واقع حتی نیاز نیست که برای ارسال به کنسول جستجوی گوگل دارای پسوند XML. باشند.

در عوض می‌توانید قوانین منطقی را وضع کنید تا ببینید که آیا صفحه‌ای شامل نقشه سایت XML می‌شود یا خیر و از همان قانون در خود صفحه استفاده کنید تا بتوانید ربات‌های متای index یا noindex را تنظیم نمایید. بدین شیوه لحظه‌ای که توضیح محصول توسط تولید کننده به روز رسانی شود و از ۴۲ کلمه به ۲۱۵ کلمه افزایش یابد آن صفحه به طور معجزه آسایی در نقشه سایت XML نمایش داده شده و ربات‌های متای آن به صورت ” index,follow” تنظیم می‌شوند.

در یکی از وب‌ سایت‌های خودم که مربوط به سفر است این کار را برای تعداد بسیار زیادی از صفحات انجام داده‌ام. از ASP کلاسیک برای آن صفحات استفاده کرده‌ام پس نقشه‌های سایت من بدین شکل هستند:

  • https://www.visualitineraries.com/ItinSiteMap.asp

زمانی که از این نقشه‌های سایت به جای رندر کردن صفحه HTML استفاده می‌شود، کد سمت سرور به راحتی XML را بازمی‌گرداند. این یکی مجموعه‌ای از سوابق را از یکی از جداول پایگاه داده من تکرار کرده و در شرایط خاص برای هر کدام یک سابقه را نشان می‌دهد.


نقشه‌های ویدئویی

خب حالا در مورد نقشه‌های سایت ویدئویی مزاحم چه باید کرد؟ حتی دیگر Wistia هم مزاحم تولید آن‌ها نمی‌شود. فقط باید از JSON-LD و schema.org/VideoObject در خود صفحه استفاده کنید.


خلاصه

۱- سازگار باشید – اگر صفحه‌ای توسط robots.txt یا ربات‌های متای “noindex” مسدود شده بهتر است که در نقشه سایت XML از آن استفاده نکنید.

۲- از نقشه سایت XML خود به عنوان ابزاری برای کشف و حل مشکلات ایندکسیشن استفاده کنید، و اجازه دهید گوگل فقط صفحاتی را ایندکس کند که می‌دانید ارزشش را دارند.

۳- اگر سایتی بزرگ دارید، از نقشه‌های سایت XML داینامیک استفاده کنید – سعی نکنید تا همه آن را به صورت دستی با robots.txt، ربات‌های متا و نقشه‌های سایت XML هماهنگ نگاه دارید.

منبع : سایت MOz.COM XML Sitemaps: The Most Misunderstood Tool in the SEO’s Toolbox