چرا صفحات سایت من توسط گوگل دیده شده اما ایندکس نمی‌شوند؟

آیا با مشکل ایندکس نشدن صفحات در سایت خود دست و پنجه نرم می‌کنید؟ این چالش شاید یکی از بزرگ‌ترین موانعی باشد که می‌تواند جلوی دیده شدن سایت شما در نتایج جستجو را بگیرد و فرصت‌های شما برای جذب مخاطبان جدید را محدود کند. اما نگران نباشید، در این مقاله به دلایل متداول ایندکس نشدن صفحات و راه‌حل‌های کاربردی آن‌ها خواهیم پرداخت. با خواندن این مطلب، می‌توانید مطمئن باشید که تمامی صفحات ارزشمند سایت شما به درستی در موتورهای جستجو ایندکس می‌شوند و در دسترس مخاطبان هدف قرار می‌گیرند.

این راهنمای جامع نه تنها به شما کمک می‌کند تا مشکلات ایندکس شدن را تشخیص دهید، بلکه استراتژی‌هایی برای بهینه‌سازی محتوای خود ارائه می‌دهد تا سایت شما با قدرت بیشتر در نتایج جستجو ظاهر شود. با ما همراه باشید و یک قدم بزرگ به سمت رشد دیجیتال کسب‌وکار خود بردارید.

کاربری پرسیده است:

“ما یک وب‌سایت را بازطراحی کرده‌ایم و چند صفحه جدید اضافه کرده‌ایم. برخی از صفحات ایندکس شده‌اند و برخی دیگر نه. چندین بار تلاش کردم اما موفق نشدم. اکنون وقتی URL را برای ایندکس شدن ارسال می‌کنم، این خطا را از طریق گوگل سرچ کنسول دریافت می‌کنم: «کشف شده – اما در حال حاضر ایندکس نشده [Discovered – currently not indexed]». لطفاً راهنمایی کنید که چگونه این مشکل را حل کنم.”

دلیل ایندکس نشدن صفحات در گوگل

این پیغام از بخش «صفحات» در گزارش «ایندکس» گوگل سرچ کنسول می‌آید. این بخش به شما اطلاعاتی درباره صفحاتی که گوگل خزیده و ایندکس کرده، و همچنین مشکلات احتمالی در ایندکس کردن صفحات می‌دهد.

گزارش ایندکس دلایل مختلفی برای ایندکس نشدن صفحات سایت شما ارائه می‌دهد که برخی از آن‌ها به رسیدگی نیاز دارند و برخی دیگر خیر.

آیا مشکل است اگر صفحه‌ای ایندکس نشود؟

بیشتر سایت‌ها دارای صفحاتی هستند که ایندکس نشده‌اند. این صفحات ممکن است عمداً از ایندکس موتورهای جستجو خارج شده باشند، مثلاً با استفاده از تگ HTML «noindex» یا مسدود کردن خزیدن از طریق فایل robots.txt.

اما اگر صفحاتی که می‌خواهید ایندکس شوند، با مشکل مواجه شده‌اند، باید این مشکل را بررسی کنید. دلیل این امر این است که صفحاتی که ایندکس نمی‌شوند، در نتایج جستجو نمایش داده نمی‌شوند و ترافیک جستجوی ارگانیک از دست می‌دهند.

مشکلات رایج ایندکس گوگل

گوگل همه URLهایی که پیدا می‌کند را خزیده و ایندکس نمی‌کند. دلایل مختلفی برای ایندکس نشدن صفحات وجود دارد. برخی از مشکلات رایج که ممکن است در سرچ کنسول مشاهده کنید عبارتند از:

• خطای سرور (500)
• Soft 404

این هشدارها ممکن است نشان‌دهنده مشکل در URLهای خاص نباشند، اما می‌توانند به مشکلات گسترده‌تر سایت اشاره کنند. بررسی این مشکلات و رفع آن‌ها می‌تواند به بهبود ایندکس صفحات شما کمک کند.

روش‌های تست شده برای افزایش خزش و ایندکس سایت توسط گوگل

با استفاده از روش‌های نوین و تست‌شده، می‌توانید خزش سایت خود را توسط گوگل افزایش دهید و نتایج سئو بهتری کسب کنید. در این مقاله به شما یاد می‌دهیم چگونه بهینه‌سازی‌های لازم را انجام دهید تا صفحات شما سریع‌تر ایندکس شوند و در نتایج جستجو بهتر دیده شوند.

بیشتر بدانید

“Discovered – Currently Not Indexed” چیست؟

“Discovered – Currently Not Indexed” یک وضعیت است که گوگل برای URLهایی که از وجود آن‌ها مطلع است اما هنوز آن‌ها را ایندکس نکرده، نمایش می‌دهد. این وضعیت به این معنی است که گوگل صفحه را کشف کرده اما به دلایلی هنوز آن را برای ایندکس بررسی نکرده است.

چه زمانی این وضعیت رخ می‌دهد؟

این وضعیت زمانی رخ می‌دهد که گوگل‌بات از وجود یک صفحه آگاه شده اما هنوز آن را کراول نکرده است. گوگل معمولاً تلاش می‌کند تا به‌طور مسئولانه از منابع سرور استفاده کند و از بارگذاری بیش از حد روی سرور جلوگیری کند. به همین دلیل، ممکن است کراول کردن URL به زمان دیگری موکول شود.

تفاوت با سایر وضعیت‌ها

اگر صفحه‌ای دارای تگ noindex باشد، گوگل آن را کشف کرده اما ایندکس نمی‌کند. این صفحه در دسته “Excluded by ‘noindex’ tag” قرار می‌گیرد. بنابراین، صفحات در دسته “Discovered – Currently Not Indexed” به دلایلی غیر از تنظیمات “noindex” در این وضعیت قرار دارند.

توضیح گوگل درباره این وضعیت

گوگل در توضیح این وضعیت می‌گوید:

“این صفحه توسط گوگل پیدا شده است، اما هنوز کراول نشده. معمولاً گوگل قصد داشت این URL را کراول کند، اما این کار ممکن بود سایت را بارگذاری بیش از حد کند؛ بنابراین گوگل کراول آن را به زمان دیگری موکول کرد. به همین دلیل تاریخ آخرین کراول در گزارش خالی است.”

گوگل تلاش می‌کند ربات‌های خود را به‌گونه‌ای تنظیم کند که سایت‌ها با مشکلات بارگذاری مواجه نشوند و با ارسال درخواست‌های زیاد به سرور، کارایی سایت مختل نشود.

چه عواملی ممکن است باعث شود که یک URL به حالت “کشف شده – هنوز ایندکس نشده” در بیاید؟

دو دلیل اصلی وجود دارد که ممکن است یک صفحه توسط گوگل شناخته شود اما هنوز ایندکس نشده باشد. جان مولر در سال 2023 توضیحاتی درباره این موارد ارائه داده است:

1. نگرانی‌های مربوط به ظرفیت سرور برای تحمل خزیدن

گاهی اوقات، گوگل به دلیل محدودیت منابع سرور، از خزش (Crawling) صفحات جدید خودداری می‌کند. گوگل تلاش می‌کند تا با جلوگیری از درخواست‌های بیش از حد به سرور، سایت را از بارگذاری بیش از حد محافظت کند.

2. کیفیت صفحه

کیفیت کلی سایت شما نیز می‌تواند تأثیر زیادی بر ایندکس شدن صفحات داشته باشد. حتی اگر گوگل هنوز صفحه‌ای را خزش نکرده باشد، می‌تواند بر اساس کیفیت سایر صفحات سایت شما فرضیاتی ارائه دهد. اگر صفحات دیگر سایت شما تکراری، نازک یا با ارزش پایین باشند، ممکن است گوگل تمایلی به ایندکس کردن صفحات جدید نداشته باشد.

چگونه مشکل هنوز ایندکس نشده را حل کنیم؟

چند راهکار برای رفع این وضعیت وجود دارد:

1. بررسی کنید که آیا صفحه واقعاً ایندکس شده است

ابتدا مطمئن شوید که گزارش سرچ کنسول به‌روز است. سپس از طریق گوگل جستجوی “site:[دامنه‌سایت] inurl:[اسلاگ URL]” را انجام دهید. اگر صفحه در نتایج جستجو نمایش داده شد، یعنی ایندکس شده است.

2. بررسی کیفیت کلی سایت

به کیفیت کلی وب‌سایت خود توجه کنید. کیفیت تنها به محتوای متنی محدود نمی‌شود؛ بلکه شامل طرح‌بندی، طراحی، سرعت سایت و تجربه کلی کاربران نیز می‌شود. برای بهبود ایندکس شدن صفحات، کیفیت کلی سایت خود را نسبت به رقبا بررسی کنید.

3. بررسی صفحات تکراری

گاهی ممکن است در سایت شما صفحات تکراری یا کیفیت پایین وجود داشته باشد که شما از آن‌ها بی‌خبر هستید. به عنوان مثال، ممکن است یک صفحه از طریق چندین URL قابل دسترسی باشد یا پارامترهای URL تکراری ایجاد شوند. بررسی و رفع این صفحات می‌تواند به بهبود ایندکس شدن کمک کند.

اگر URLهای شما در وضعیت “کشف شده – هنوز ایندکس نشده” قرار دارند، این ممکن است به دلیل مشکلات کیفیت صفحه یا بارگذاری سرور باشد. بررسی دقیق صفحات سایت، رفع مشکلات تکراری و بهبود کیفیت کلی وب‌سایت می‌تواند به ایندکس شدن بهتر صفحات کمک کند.

سوالات متداول