بهینه سازی Index Coverage با کمک سرچ کنسول گوگل

همانطور که می دونین، وقتی مشکلات فنی SEO رو برطرف می کنین، معمولاً با رتبه های بالاتر و بازدید بیشتر مواجه می شین. کنسول جستجوی گوگل (Google Search Console) دارای یک تن ویژگی است که به شما کمک می کنه تا به راحتی مسائل فنی SEO رو شناسایی و برطرف کنین.

نحوه استفاده از آن ها رو در این مطلب از وب آنجلآکادمی آورده ام:

استفاده از گزارش پوشش ایندکس “Index Coverage” برای پیدا کردن و رفع مشکلات ایندکس کردن سایت شما با پوشش تمامی قسمت ها در سرچ کنسول رو توضیح میدم. اگه همه موارد موجود در وب سایت شما درست تنظیم شده باشه، گوگل موارد زیر رو انجام میده:

الف) صفحه شما رو پیدا میکنه

ب) سریع آن رو به فهرست ایندکس آن ها اضافه می کنه

اما گاهی اوقات، همه چیز اشتباه میشه. اگه می خواهید Google تمام صفحات شما رو فهرست بندی کنه، مواردی رو باید آن ها اصلاح کنین. و اینجاست که گزارش پوشش ایندکس ارائه میشه. بیایین نگاه عمیقی به این مشکل بندازیم.

Index Coverage چیست؟

Index Coverage یا گزارش پوشش ایندکس به شما اجازه میده بدونین کدام صفحات از سایت شما در فهرست Google وجود دارن. توضیحات کاملتری در سایت شخصی خودم با عنوان Coverage چیست؟ رو دادم قبلا. همچنین به شما اجازه میده در مورد مسائل فنی که از ایندکس شدن صفحات جلوگیری می کنه، مطلع بشین.

این بخشی از گوگل سرچ کنسول (GSC) جدید است و جایگزین گزارش “وضعیت ایندکس” در کنسول جستجو قدیمی شده.

نکته: گزارش پوشش کمی پیچیده است و من می تونم لیستی از ویژگی ها رو به شما معرفی کنم تا متوجه این گزارش بشین؛ کاری که بسیاری از آموزش ها و راهنما های گزارش پوشش انجام میدن. اما من می خواهم مرحله به مرحله یک وبسایت واقعی رو آنالیز کنم تا به خوبی گزارش پوشش ایندکس رو بشناسین و از آن برای پیدا کردن و رفع مشکلات استفاده کنین.

نحوه پیدا کردن خطاها با گزارش پوشش ایندکس

در بالای این گزارش 4 تب داریم که عبارتند از:

خطا Error

معتبر با اخطار ها Valid with Warnings

معتبر Valid

استثناء ها Excluded

اکنون روی تب “خطا” تمرکز می کنم. همانطور که مشاهده می کنین، این سایت 54 خطا داره. نمودار نشان میده که چگونه این تعداد در طول زمان تغییر کرده است.

اگه به پایین صفحه برین، در مورد هریک از این خطاها اطلاعاتی پیدا می کنین:

اینجا چیزهای زیادی برای فهمیدن وجود داره. بنابراین برای کمک به شما در درک هر “دلیل”، در اینجا چند تعریف کوتاه آوردم:

• به نظر می رسه URL ارسالی یک 404 است

این بدان معناست که صفحه “پیدا نشد”، اما یک کد وضعیت نادرست در هدر ارائه کرد. (من متوجه شدم این یکی کمی باگ داره)

• خطای تغییر مسیر

هدایتی برای این صفحه وجود داره (301/302). اما کار نمی کنه.

• URL وارد شده یافت نشد (404)

این صفحه پیدا نشد و سرور کد وضعیت HTTP صحیح (404) رو بازگرداند. همه چیز خوبه (البته، اگه واقعیت شکست خوردن صفحه رو نادیده بگیرین…)

• URL ارسال شده دارای مشکل خزیدن است

این می تواند 100 دلیل متفاوت داشته باشه. برای پیدا کردن دلیل اصلی، باید از صفحه بازدید کنین.

• خطاهای سرور (5xx)

Google bot نمی تونه به سرور دسترسی پیدا کنه. ممکنه هنگام توقف Google bot خراب بشه، زمان آن تمام بشه یا از کار بیفته و هنگامی که روی وضعیت خطا کلیک می کنین، لیستی از صفحاتی که دارای آن مشکل خاص هستن، دریافت می کنین.

رفع خطاهای 404 باید آسان باشه. بنابراین بیایین با آن ها شروع کنیم. روی یک URL در لیست کلیک کنین.

با این کار یک صفحه جانبی با 4 گزینه باز میشه:

اما ابتدا، اجازه بدین با یک مرورگر از URL بازدید کنیم. به این ترتیب، ما می تونیم بار دیگه بررسی کنیم که صفحه واقعاً خراب است. آره. مثلا خراب است، بعد URL خود رو در قسمت بازرسی URL در بالای صفحه قرار بدین.

و Google bot با عجله به صفحه شما میره. مطمئناً، این صفحه هنوز وضعیت 404 “یافت نشد” رو به من میده.

چگونه این رو درست کنیم؟ خوب، دو گزینه پیش رو داریم:

یا آن رو همانطور که هست رها کنیم. گوگل سرانجام این صفحه رو از رده خارج خواهد کرد. اگه صفحه به دلایلی از کار افتاده باشه، منطقی است (مثل اینکه دیگه آن محصول رو نمی فروشین). می تونین صفحه 404 رو به صفحه محصول مشابه، صفحه دسته بندی یا پست وبلاگ هدایت کنین.

چگونه خطای 404 رو برطرف کنیم؟

توضیحات بسیار کاملی در این زمینه در وب آنجلوجود داره و می تونین به آن مراجعه کنین.

چگونه سایر خطاها رو رفع کنیم؟

برای رفع سایر خطاها میشه از فرایند رفع خطای 404 استفاده کرد:

صفحه رو در مرورگر خود بارگذاری کنین. URL رو به بازرسی URL یا “URL Inspection” وصل کنین. موارد خاصی رو که گوگل سرچ کنسول به شما میگه، بخونین. مشکلات موجود رو برطرف کنین

در اینجا چند نمونه ذکر شده:

خطاهای هدایت مجدد (Redirect)

خطاهای خزیدن

خطاهای سرور

خط پایین؟ با کمی کار، می تونین تقریباً هر خطایی رو که در گزارش پوشش مشاهده کردین، برطرف کنین.

چگونه اخطار ها رو در گزارش پوشش ایندکس رفع کنیم

شما رو نمی دونم، اما من هیچ چیز که مربوط به سئو باشه رو روی شانس نمیذارم. یعنی دوست ندارم هیچ اخطار نارنجی رنگی ببینم. پس بهتره ابتدا راجع به تب معتبر با اخطار در گزارش پوشش ایندکس صحبت کنیم.

این لحظه فقط یک اخطار نمایش داده شده: “Indexed, though blocked by robots.txt” یعنی “ایندکس شد، اگرچه توسط robots.txt مسدود شد”.

خب، اینجا چه خبره؟

گوگل سرچ کنسول میگه صفحه توسط robots.txt مسدود شده. بنابراین به جای کلیک کردن “Fetch As Google” روی “Test Robots.txt Blocking” کلیک کنین.

این کار ما رو به آزمونگر robots.txt در سرچ کنسول قدیمی می رسونه. همانطور که مشخصه، این URL توسط robots.txt مسدود شده. بنابراین چه مشکلی وجود داره؟

خوب، اگه می خواهید صفحه ایندکس بشه، باید آن رو از Robots.txt (duh) رفع انسداد کنین.

اما اگه نمی خواهید ایندکس بشه، دو گزینه دارین:

1: تگ “noindex,follow” رو به صفحه اضافه کرده و آن رو از txt رفع انسداد کنین

2: با استفاده از ابزار حذف URL از شر صفحه خلاص بشین

بیایید ببینیم چگونه از ابزار حذف URL استفاده کنیم:

نحوه استفاده از ابزار حذف URL در Search Console

ابزار حذف URL یک روش سریع و آسان برای حذف صفحات از فهرست Google است. متأسفانه، این ابزار هنوز به کنسول جستجوی جدید Google منتقل نشده. بنابراین برای استفاده از آن باید از گوگل سرچ کنسول قدیمی استفاده کنین. برگه “ابزارها و گزارش های قدیمی “Legacy Tools and Reports” رو در نوار کناری جدید گوگل سرچ کنسول باز کنین، سپس روی “حذف ها”،”Removals” کلیک کنین، در اینجا به گوگل سرچ کنسول قدیمی منتقل میشین.

در آخر، URL ای رو که می خواهید حذف کنین، وارد کنین:

سه بار بررسی کنین که URL رو درست وارد کردین، سپس روی “ارسال درخواست”،”Submit Request” کلیک کنین.

حذف فقط برای 90 روز اجرا میشه. بعد از اون گوگل بات صفحه رو مجدداً مخفی میکنه. اما تصور کنین صفحه توسط robots.txt مسدود شده… این صفحه برای نتیجه خوبی از بین رفته. صفحات ایندکس شده رو بررسی کنین تا موارد محتمل پیدا بشن. حالا به تب “معتبر” میریم. این تب به ما میگه که چند صفحه در Google ایندکس شده است.

اینجا باید دنبال چی بگردین؟ دو چیز:

کاهش (یا افزایش) غیرمنتظره صفحات ایندکس شده. به کاهش ناگهانی تعداد صفحات ایندکس شده توجه می کنین؟ این کاهش می تونه نشانه ای از وجود اشتباه باشه:

شاید دسته ای از صفحات Google bot رو مسدود کردن, یا شاید شما به اشتباه تگ noindex اضافه کردین. در هر صورت، تا زمانی که به طور عادی دسته ای از صفحات رو حذف نکرده باشین، قطعاً باید این مشکل را بررسی کنین.

آن روی سکه:

اگه متوجه افزایش ناگهانی صفحات ایندکس شده بشین، چه می کنین؟

باز هم، ممکنه نشانه ای از اشتباه باشه. (به عنوان مثال، ممکنه دسته ای از صفحات رو که قراره مسدود بشن، رفع انسداد کردین). افزایش غیر منتظره تعداد صفحات ایندکس شده, در حال حاضر 41 پست در سایت وجود داره.

بنابراین وقتی نگاهی به گزارش “معتبر” در پوشش ایندکس می کنین، انتظار میره که تعداد این صفحات رو فهرست کنین. اما اگه WAY بالاتر از 41 باشه، چی؟ این یک مشکل بزرگه، و مجبور به حل آن هستین. در صورت تعجب، آنچه رو می بینم اینجاست:

اطمینان پیدا کنین موارد مستثنی خارج بشن

اکنون دلایل بسیار خوبی برای جلوگیری از ایندکس شدن صفحه در موتورهای جستجو وجود داره. شاید این یک صفحه ورود باشه. شاید این صفحه حاوی محتوای تکراری باشه. یا شاید صفحه بی کیفیت است.

نکته: وقتی میگم “کیفیت پایین”، منظورم این نیست که صفحه به درد نخور است. ممکنه این صفحه برای کاربران مفید باشه… اما برای موتورهای جستجو مفید نیست. که یعنی، قطعاً می خواهید اطمینان حاصل کنین که Google صفحاتی رو که می خواهید ایندکس کنین، حذف نمی کنه. در این حالت، تعداد زیادی صفحه مستثنی شده داریم.

و اگه به پایین صفحه برین، لیستی از دلایل حذف هر صفحه از فهرست Google در قسمت Status دریافت می کنین.

این لیست عبارت است از:

• صفحه با هدایت مجدد Redirect

صفحه به URL دیگه ای هدایت میشه. این مورد کاملاً خوب است. مگه اینکه بک لینک (یا پیوندهای داخلی) با اشاره به آن URL وجود داشته باشه، آن ها در نهایت تلاش می کنن تا ایندکس شدن آن رو متوقف کنن.

• صفحه جایگزین با تگ کنونیکال مناسب

Google نسخه دیگه ای از این صفحه رو در جای دیگه پیدا کرده. این کاری است که یک URL کنونیکال قراره انجام بده. بنابراین خوبه.

• ناهنجاری خزیدن

بله می تونه کلی مسئله باشه، بنابراین باید تحقیق کنین. در این حالت، به نظر می رسه صفحات ذکر شده در حال بازگشت 404 هستن.

• خزیده شده اما ایندکس نشده

اینها صفحاتی هستن که Google آن ها رو خزیده، اما (به دلایلی) ایندکس نشدن. Google دلیل دقیق آن رو برای فهرست نکردن صفحه به شما نمیگه. اما از نظر من، این خطا به این معنیه که صفحه به اندازه کافی خوب نیست که بتونه در نتایج جستجو جایگاهی داشته باشه. برای رفع این مشکل چه کاری باید انجام داد؟ توصیه من: برای بهبود کیفیت هر صفحه ذکر شده تلاش کنین.

به عنوان مثال، اگه این یک صفحه طبقه بندی است، محتوایی اضافه کنین که آن طبقه بندی رو توصیف کنه. اگه این صفحه دارای محتوای تکراری زیادی است، آن رو منحصر به فرد کنین. اگه صفحه محتوای زیادی نداره، آن رو تقویت کنین. اساساً صفحه رو شایسته فهرست Google کنین.

• URL ارسال شده به عنوان Canonical انتخاب نشده است

این گوگل است که به شما میگه: “این صفحه دارای همان محتوای دسته دیگر صفحات است. اما ما فکر می کنیم URL دیگر بهتر است”. آن ها این صفحه رو از فهرست خارج کردن. توصیه من: اگه محتوای تکراری در تعدادی از صفحات دارین، تگ روبات های متا noindex رو به همه صفحات تکراری، به غیر از موردی که می خواهید ایندکس بشه، اضافه کنین.

• توسط robots.txt مسدود شده است

اینها صفحاتی هستن که robots.txt مانع از خزیدن Google در آن ها میشه. ارزش این رو داره که این خطاها رو دوبار بررسی کنین تا مطمئن بشین آنچه رو که مسدود می کنین باید مسدود بشه. اگه همه چیز خوب بود، robots.txt وظیفه خود رو انجام میده و جای نگرانی نیست.

• صفحه تکراری بدون تگ کنونیکال

این صفحه بخشی از مجموعه صفحات تکراری است و شامل یک URL کنونیکال نیست. در این حالت بسیار راحت می فهمیم چه خبره.

ما تعدادی اسناد PDF دریافت کردیم، و این PDF حاوی مطالب از صفحات دیگه سایت است. راستش، این مسئله بزرگی نیست. اما برای داشتن امنیت لازم، باید از طراح وب خود بخواهید که این PDF ها رو با استفاده از robots.txt مسدود کنه. به این ترتیب، Google فقط محتوای اصلی رو ایندکس می کنه.

• کشف شد در حال حاضر ایندکس نشده است
• Google این صفحات رو جستجو کرده است، اما هنوز آن ها رو در فهرست قرار نداده.
• با تگ noindex مستثنی شده

پس همه چیز خوبه. تگ noindex وظیفه خود رو انجام میده. خب، این کل گزارش پوشش ایندکس بود. امیدوارم نهایت استفاده رو از این مطلب برده باشید.