جستجو کردن
بستن این جعبه جستجو.
علت-کراول-نشدن-سایت-ها-توسط-GoogleBot-چیست؟

علت ایندکس نشدن سایت ها توسط GoogleBot چیست؟

آنچه در این مقاله خواهید خواند

جان مولر از گوگل عواملی رو توضیح میده که باعث کراول شدن تعدادی از صفحات سایت میشن… و علت اینکه برخی صفحات کراول نمیشن رو توضیح میده. در پاتوق Google SEO Office Hours از جان مولر متخصص گوگل سؤال شد که چرا گوگل به اندازه کافی صفحات وب رو کراول نمی کنه.

شخصی که این سؤال رو مطرح کرد، توضیح داد که گوگل در حال کراول کردن است، ولی برای همگام شدن با یک وب سایت بسیار بزرگ کافی نیست. جان مولر توضیح داد که چرا گوگل ممکنه به اندازه کافی صفحات رو کراول نکنه.

بودجه کراول گوگل چیست؟

GoogleBot نام کراول گر گوگل است که به صفحه وب میره و آن ها رو برای اهداف رتبه بندی ایندکس می کنه. اما از آنجا که وب گسترده است، گوگل این استراتژی رو داره که فقط صفحات وب با کیفیت بالاتر رو ایندکس کنه و صفحات وب با کیفیت پایین رو کنار بذاره.

طبق صفحه Google Developer برای وب سایت های عظیم (در میلیون ها صفحه وب):

“مقدار زمان و منابعی که گوگل برای کراول کردن یک سایت اختصاص میده، معمولاً بودجه کراول سایت نامیده میشه. توجه داشته باشین که هر آنچه در سایت شما کراول شده، لزوماً ایندکس نخواهد شد. هر صفحه باید ارزیابی، تلفیق و بررسی بشه تا مشخص بشه که آیا پس از کراول شدن، ایندکس میشه یا خیر. بودجه کراول شدن توسط دو عنصر اصلی تعیین میشه: محدودیت ظرفیت کراول و تقاضای کراول.”

چه چیزی بودجه کراول GoogleBot رو تعیین می کنه؟

شخصی که سؤال رو مطرح کرد، سایتی با صدها هزار صفحه داشت. اما گوگل فقط در حدود 2000 صفحه وب رو در روز کراول می کنه. این سرعت برای چنین سایت بزرگی بسیار کند است.

شخصی سؤال زیر رو نیز پرسید:

“آیا توصیه دیگه ای برای دریافت اطلاعات در مورد بودجه کراول فعلی دارین؟ فقط به این دلیل که احساس می کنم ما واقعاً تلاش کردیم تا پیشرفت هایی انجام بدیم، اما شاهد پرش صفحات در روز نیستیم.”

جان مولر از شخص پرسید که سایت چقدر بزرگ است؟

محتوای دست چین شده برای شما:
موتور جستجو چیست؟

فرد مورد نظر پاسخ داد:

“سایت ما صدها هزار صفحه داره. و ما دیدیم که ممکنه روزانه حدود 2000 صفحه کراول بشه، حتی تعداد زیادی از این موارد مانند 60،000 صفحه پیدا کردیم که هنوز ایندکس یا کراول نشدن.”

جان مولر پاسخ داد:

“بنابراین عملاً، من دو دلیل اصلی می بینم که چرا این اتفاق می افته. از یک طرف اگه سرور به طور قابل توجهی کند باشه، که در اینصورت زمان پاسخ یکی از دلایل است. فکر می کنم این رو در گزارش آمار کراول نیز می بینین. زیرا این امر به ما امکان میده تا آنجا که نیاز داریم تقریباً کراول کنیم. این چیزی مانند سرعت صفحه نیست. بنابراین… چیزی است که باید مراقب آن باشین. “

کیفیت سایت می تونه بودجه کراول GoogleBot رو تحت تأثیر قرار بده

در ادامه جان مولر به موضوع کیفیت سایت اشاره کرد. کیفیت پایین سایت می تونه باعث کراول نشدن وب سایت توسط Googlebot بشه.

جان مولر توضیح داد:

“دلیل مهم دیگه اینکه چرا وب سایت ها کامل کراول نمیشن، اینه که در کل از کیفیت اطمینان نداریم. این چیزیه که من مشاهده می کنم، به خصوص با سایت های جدید، گاهی اوقات با آن دست و پنجه نرم می کنیم. و همچنین بعضی اوقات می بینم که مردم میگن ایجاد وب سایت با یک میلیون صفحه از نظر فنی امکان پذیره، زیرا ما یک پایگاه داده داریم و فقط آن رو بصورت آنلاین قرار میدیم. و فقط با این کار، اساساً هر روز تعداد زیادی از این صفحات رو پیدا خواهیم کرد. اما گوگل هنوز از کیفیت این صفحات مطمئن نیست. و تا زمانی که مطمئن نشه کیفیت خوب است، کمی احتیاط بیشتری در مورد کراول و ایندکس کردن آن ها داره.”

عواملی که بر تعداد صفحات کراول شده تأثیر میذاره

فاکتورهای دیگه ای نیز وجود دارن که می تونن بر تعداد صفحات کراول شده که ذکر نشدن، تأثیرگذار باشن. به عنوان مثال، یک وب سایت میزبان در یک سرور مشترک ممکنه نتونه صفحات رو به سرعت به گوگل ارائه بده، زیرا ممکنه سایت های دیگه ای نیز در سرور وجود داشته باشن که از منابع بیش از حد استفاده می کنن و باعث کند شدن سرعت سرور برای هزاران سایت دیگه در آن سرور میشن.

محتوای دست چین شده برای شما:
بازار هدف چیست؟

دلیل دیگه ممکنه این باشه که سرور توسط ربات های سرکش مورد انتقاد قرار می گیره و باعث کند شدن وب سایت میشه. توصیه جان مولر برای یادآوری سرعت ارائه دهنده سرور به صفحات وب خوب است.

حتماً ساعت های پایانی شب آن رو بررسی کنین، زیرا بسیاری از کراول گر ها مانند گوگل در ساعات اولیه صبح کراول کردن رو آغاز می کنن، زیرا به طور کلی زمان خستگی بیشتر مختل نمیشه و در آن ساعت تعداد بازدید کنندگان سایت کمتر است. همچنین، دو نکته مهم برای ایندکس شدن سایت از جان مولر رو هم در وب آنجلبخونید.

به پایان آمد این دفتر حكایت همچنان باقیست

نظر شما برای بهبود کیفیت کار ما ارزشمند است

متاسفیم که این پست برای شما مفید نبود!

Let us improve this post!

چگونه میتوانیم این پست را بهبود بخشیم؟

مسیر موفقیت شما با خدمات VIP وب آنجل

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

وب آنجل
جستجو کردن