آموزش رفع مشکل ایندکس نشدن سایت توسط گوگل

اگر صفحات سایت شما توسط گوگل Index نمی‌شوند؛ شما اولین نفر نیستید، آخرین نفر هم نیستید. دلایل احتمالی زیادی وجود دارند که می‌توانند جلوی ایندکس شدن سایت توسط گوگل را بگیرند و در این مقاله، به تمامی آن‌ها می‌پردازم و به شما نشان می‌دهم که در صورت برخورد به هر کدام از این مشکلات، چطور آن‌ها را رفع نمایید. بنابراین، بدون پرداختن به مقدمه بیشتر، بیایید با هم دلایل ایندکس نشدن سایت توسط گوگل را بررسی کنیم.

دلایل بروز مشکل ایندکس (Index) نشدن سایت توسط گوگل

GoogleBot نام کرال گر گوگل است که به صفحه وب میره و آن ها رو برای اهداف رتبه بندی ایندکس می کنه. اما از آنجا که وب گسترده است، گوگل این استراتژی رو داره که فقط صفحات وب با کیفیت بالاتر رو ایندکس کنه و صفحات وب با کیفیت پایین رو کنار بذاره.

“مقدار زمان و منابعی که گوگل برای کراول کردن یک سایت اختصاص میده، معمولاً بودجه کرال سایت نامیده میشه. توجه داشته باشین که هر آنچه در سایت شما کرال شده، لزوماً ایندکس نخواهد شد. هر صفحه باید ارزیابی، تلفیق و بررسی بشه تا مشخص بشه که آیا پس از کرال شدن، ایندکس میشه یا خیر. بودجه کرال شدن توسط دو عنصر اصلی تعیین میشه: محدودیت ظرفیت کرال و تقاضای کرال.”

نقل قول صفحه Google Developer برای وب سایت ها:

1. سایت شما ریسپانسیو (Responsive) نیست

در حال حاضر گوگل به نسخه‌های موبایل وب‌سایت‌ها بیشتر از دسکتاپ اهمیت می‌دهد، به این دلیل که کاربران موبایل بیشتری دارد. گوگل حتی الگوریتمی تحت عنوان Mobile-first Indexing را چند سال پیش معرفی کرد که ابتدا به نسخه موبایل و سپس به نسخه دسکتاپ سایت شما نگاه می‌کند.

مهم نیست که چقدر محتوا و سئوی قوی داشته باشید، تا زمانی که سایت شما برای مشاهده شدن توسط گوشی‌های هوشمند و تبلت‌ها بهینه‌سازی نشده باشد، ایندکس نشده و ترافیک و رتبه از دست می‌دهد. ریسپانسیوسازی سایت برای موبایل کار سختی نیست و می‌توانید این کار را از طریق افزونه‌های مختلف انجام دهید.

2. شما از زبان برنامه‌نویسی پیچیده‌ای استفاده می‌کنید

اگر سایت شما از زبان‌های برنامه‌نویسی به شکل پیچیده‌ای استفاده کند، توسط گوگل ایندکس نخواهد شد. این موضوع به زبانی که استفاده می‌کنید ربطی ندارد، مهم نادرست بودن تنظیمات و پیچیده بودن بیش از حد کدها برای گوگل است که می‌تواند منجر به بروز مشکل در Crawl و ایندکس شود.

اگر سایت شما چنین مشکلی داشته باشد، پیشنهاد می‌کنیم که از ابزار Google’s Mobile-Friendly Testing Tool استفاده کرده و مشکلات سایت خود را بررسی کنید. علاوه بر این، با استفاده از این ابزار می‌توانید نحوه حل این مشکلات را هم مشاهده نمایید.

3. سرعت بارگزاری سایت شما پایین است

سایت‌هایی که سرعت بارگزاری پایینی دارند، معمولاً توسط گوگل ایندکس نمی‌شوند. در واقع گوگل اصلاً دوست ندارد که این نوع سایت‌ها رتبه بگیرند و تجربه کاربری بدی را برای کاربران رقم بزنند. سرعت بارگزاری پایین به عوامل مختلفی بستگی دارد. ممکن است میزان محتوای موجود در صفحات شما به قدری زیاد باشد که مرورگر کاربر نتواند آن را تحمل کند یا از سرورهای قدیمی به میزان محدود استفاده می‌کنید.

برای این که بتوانید سرعت سایت خود را بهبود بخشیده و قسمت‌هایی از سایت که مانع افزایش سرعت آن می‌شوند را شناسایی کنید، استفاده از ابزاری تحت عنوان Google Pagespeed Insights را به شما پیشنهاد می‌کنیم. این ابزار کل صفحات سایت شما را بررسی کرده و قسمت‌هایی که نیازمند تغییر هستند را به شما نشان می‌دهد. همچنین، راه‌حل رفع این مشکلات هم به شما ارائه شده و بدین صورت می‌توانید سایتی سریع داشته باشید.

4. سایت شما محتوای کمی دارد

محتوای ارزشمند یکی از فاکتورهای مهم گوگل برای ایندکس و رتبه دادن به سایت شماست. اگر محتوای بسیار کمی روی سایت خود داشته باشید که ارتباطی با موضوع صفحه نداشته باشد یا حداقل در سطح محتوای صفحات رقبای شما نباشد، به احتمال زیاد صفحات‌تان ایندکس نخواهند شد.

منظور از محتوای ارزشمند؛ محتوای 4 یا 5 هزار کلمه‌ای نیست، در واقع طول محتوا تا حد زیادی تعیین‌کننده ارزشمند بودن یا نبودن آن نیست. محتوای صفحات سایت شما باید بتوانند به سوالات کاربران پاسخ دهند، اطلاعات خوبی را ارائه کنند یا دیدگاهی متفاوت از دیدگاه دیگر سایت‌های حاضر در صنعت کاری شما داشته باشند.

ویدئو من را در رابطه با نکات کلیدی درباره تولید محتوا ببینید:

5. صفحات شما Discover نشده‌اند

گاهی اوقات گوگل نمی‌تواند صفحات سایت شما را پیدا کند. وقتی صفحه‌ای پیدا نشود، مسلماً ایندکس هم نخواهد شد. این اتفاق به سه دلیل رایج رخ می‌دهد:

• صفحات شما لینک‌سازی داخلی نشده‌اند.
• صفحات شما در نقشه سایت قرار داده نشده‌اند.
• سایت شما بیش از حد بزرگ است و مدت زمان بیشتری را برای پیدا شدن می‌طلبد.
• صفحات شما Crawl نشده‌اند

زمانی که ربات‌های گوگل سایت شما را Crawl می‌کنند، می‌توانند صفحات و محتواهای جدیدی را پیدا کرده و سپس به لیست ایندکس گوگل اضافه نمایند. مسلماً اگر صفحات شما Crawl نشوند، نمی‌توانند ایندکس شوند.

Crawl نشدن سایت هم مانند مورد قبلی، می‌تواند دلایل مختلفی داشته باشد، مانند:

• Disallow شدن صفحه در فایل robots.txt
• داشتن بودجه Crawl پایین
• جلوگیری ارورهای سرور از Crawl شدن سایت توسط ربات‌های گوگل

رفع مشکل پیام Discovered – Currently not indexed در سرچ کنسول گوگل

اگر تابحال وضعیت ایندکس شدن سایت خود را در Google Search Console بررسی کرده باشید، قطعاً پیام Discovered – Currently not indexed را مشاهده کرده‌اید. این پیام بدین معنی است که گوگل می‌داند صفحه مورد نظر وجود دارد اما آن را Crawl نکرده و در حال حاضر ایندکس هم نشده‌ است.

این اتفاق معمولاً سه دلیل رایج دارد: کیفیت محتوا، لینک‌سازی داخلی و بودجه Crawl که هر کدام از آن‌ها راه‌حل‌های متفاوتی هم خواهند داشت. در ادامه، راه‌حل های رفع این مشکل را به شما نشان خواهیم داد.

1. کیفیت محتوای خود را بهبود بخشید

گوگل نمی‌تواند همه چیز را در فضای وب Crawl و ایندکس کند. هر سایتی به منظور ایندکس شدن، باید یک سری حداقل‌های کیفی را داشته باشد. به همین دلیل، اگر بعضی از صفحات سایت شما ایندکس نمی‌شوند، شاید به دلیل کیفیت محتوایشان باشد.

جان مولر، مدیر بخش جستجوی گوگل در این باره می‌گوید:” پیام Discovered – Currently not indexed ممکن است به دلیل کیفیت کم محتوا نه تنها در یک صفحه، بلکه در کل سایت باشد.”

2. از لینک‌سازی داخلی به نحو احسن غافل نشوید

ربات‌های گوگل از طریق لینک‌های داخلی سایت شما می‌توانند به صفحات دیگر دسترسی پیدا کرده و ارتباطات میان آن‌ها را کشف کنند. لینک‌های داخلی همچنین به یکدیگر PageRank می‌دهند، یعنی سیگنالی مبنی بر اهمیت آن‌ها در رتبه‌بندی.

اگر ربات‌های گوگل به اندازه کافی لینک ورودی به یک URL را پیدا نکنند، به دلیل کمبود سیگنال کافی مبنی بر اهمیت این لینک، ممکن است آن را Crawl نکنند. گوگل تصور می‌کند صفحاتی که لینک داخلی کمی دارند اهمیتی نداشته و بنابراین آن‌ها را در وضعیت Discovered – Currently not indexed قرار می‌دهد.

برای این که لینک‌سازی داخلی بهتری داشته باشید، موارد زیر را همیشه در نظر بگیرید:

• محتوای هسته خود را انتخاب کرده و صفحات دیگر را به آن لینک کنید.
• از لینک‌های داخلی درون متن محتوای خود استفاده کنید.
• صفحات را بر اساس سلسله مراتب اهمیت به یکدیگر لینک کنید.
• سایت خود را با لینک‌های مختلف اسپم نکنید.
• انکر تکست‌های خود را بیش از حد بهینه نکنید.
• محصولات و پست‌های مرتبط را به یکدیگر لینک کنید.
• جلوی Crawl و ایندکس شدن صفحات بی‌کیفیت را توسط گوگل بگیرید

اگر به گوگل اجازه دهید که بدون هیچگونه محدودیتی همه صفحات شما را بررسی کند، با دو مشکل عمده مواجه خواهید شد.

اولین مشکل این است که ربات‌های گوگل آن‌قدر صفحات سایت شما را بررسی می‌کند تا Crawl Budget آن به اتمام برسد. اگر ربات‌های گوگل صفحات بی‌کیفیت را Crawl کنند، ممکن است قبل از این که به صفحات اصلی و حیاتی شما برسد، محدودیت Crawl خود را به اتمام برساند.

دومین مشکل این است که اگر ربات‌های گوگل صفحات بی‌کیفیت شما را Crawl کنند، ممکن است نظر گوگل در مورد کیفیت کلی سایت شما هم تغییر پیدا کند. بدین صورت رتبه‌های شما دچار مشکل شده و تقاضای Crawl سایت هم کاهش پیدا خواهد کرد.

جلوی Crawl شدن صفحات بی‌کیفیت سایت خود را با استفاده از فایل robots.txt و متا تگ noindex بگیرید تا ایندکس نشوند و جلوی بروز این‌گونه اشکالات گرفته شود.

3. نقشه سایت بهینه‌سازی شده ایجاد نمایید

نقشه سایت بهینه‌سازی شده می‌تواند ربات‌های گوگل را در پروسه Crawl و ایندکس کردن صفحات سایت هدایت کند. در واقع گوگل از این نقشه برای پیدا کردن محتواهای شما استفاده می‌کند.

نقشه سایت شما باید شامل موارد زیر باشد:

• URLهایی که با 200 کد وضعیت OK پاسخ می‌دهند.
• URLهایی که بدون متاتگ‌های robots بلاک کننده از ایندکس شدن هستند.
• نسخه‌های کنونیکال صفحات شما.
• ریدایرکت‌های خود را به طور صحیح انجام دهید

در مورد ریدایرکت‌ها، چیزی که باید به شدت از آن اجتناب کنید، زنجیره‌ها و حلقه‌ها (Loop) هستند. زنجیره ریدایرکت زمانی رخ می‌دهند که می‌خواهید صفحه A را به صفحه B ریدایرکت کنید، اما ابتدا به صفحه C ریدایرکت می‌شود.

حلقه ریدایرکت زمانی رخ می‌دهد که زنجیره ریدایرکت ایجادشده توسط شما با صفحه A شروع شده و به صفحه A هم ختم می‌شود، بدین صورت کاربران و ربات‌های گوگل در یک حلقه بی‌پایان گرفتار خواهند شد. هر دو این موارد باعث فرستادن درخواست‌های بیش از حد به سرور شما شده و بودجه Crawl را به اتمام می‌رسانند.

به منظور جلوگیری از بروز این مشکلات؛ به صفحات ریدایرکت شده لینک نزنید، به جای این کار آن‌ها را به نحوی بروزرسانی کنید که به صفحات دارای وضعیت 200 OK اشاره کنند.

4. سرورهای Overload شده را بهبود ببخشید

یکی از دلایل بروز مشکلات Crawl، بیش از حد پر بودن یا همان Overload بودن سرور شماست. اگر ربات‌های گوگل نتوانند به دلیل بیش از حد پر بودن سرور از صفحه‌ای بازدید کنند، به سراغ صفحات یا سایت دیگری خواهند رفت. گوگل در آینده قطعاً دوباره به منظور ایندکس به سایت شما سر خواهد زد، اما پروسه ایندکس شدن سایت شما به تاخیر خواهد افتاد.

برای جلوگیری از بروز این مشکل؛ در سرچ کنسول گوگل به گزارش Crawl Stats رفته و پس از انتخاب دامنه خود، روی Average Response Time کلیک کنید. این گزینه به شما مدت زمان بارگزاری سرور را نشان می‌دهد. در صورت وجود مشکل، با ارائه دهنده سرور خود تماس حاصل کرده و آن را برطرف نمایید.

چه زمانی صفحات Discovered – Currently not indexed خود را بهینه‌سازی کنیم؟

در بعضی از مواقع، URLهایی که دارای وضعیت Discovered – Currently not indexed هستند، نیازی به بروزرسانی ندارند. در صورتی که صفحات شما شرایط زیر را دارند، لازم نیست در این مورد کاری انجام دهید:

• تعداد URLهای دارای این وضعیت کم بوده و به مرور زمان Crawl و ایندکس می‌شوند.
• گزارش سرچ کنسول در مورد لینک‌های دارای این وضعیت شامل صفحاتی است که نباید Crawl و ایندکس شوند.

در صورتی که صفحات شما در میان این دو دسته قرار نمی‌گیرند، می‌توانید با استفاده از راه‌حل‌هایی که در این مقاله به شما ارائه دادیم، مشکل را برطرف نمایید. امیدواریم که این آموزش برای شما مثمر ثمر واقع شده باشد.