سهمیه یا بودجه خزش (Crawl Budget) چیست؟

بودجه یا سهمیه خزش، به تعداد صفحاتی از سایت شما گفته می­شه که در یک بازه زمانی معین توسط گوگل بررسی میشه. در اینجا نکاتی رو که باعث میشن گوگل صفحات بیشتری از سایت شما رو بررسی کنه در وب آنجل آکادمی توضیح میدم.

سهمیه خزش (Crawl Budget) چه مفهومی داره و چیست؟

سهمیه خزش به تعداد صفحاتی از وبسایت شما که توسط روبات‌های خزنده گوگل در یک بازه زمانی مشخص (معمولا یک روز) بررسی می‌شوند، گفته می‌شود. گوگل ممکن است روزانه 30، 600، یا حتی فقط 20 صفحه از سایت شما را خزیده (کراول) یا بررسی کند. این تعداد متغیر است و عوامل متعددی بر آن تاثیر می‌گذارند.

عوامل موثر بر سهمیه خزش:

1. بزرگی وبسایت: سایت‌های بزرگتر معمولاً سهمیه خزش بیشتری دارند.
2. تعداد لینک‌ها به سایت: تعداد و کیفیت لینک‌های خارجی که به سایت شما اشاره دارند، تاثیر زیادی بر سهمیه خزش دارند.
3. سلامت سایت: تعداد خطاهای موجود در سایت شما (مانند خطاهای 404 یا صفحات معیوب) می‌تواند بر تعداد صفحاتی که گوگل خزش می‌کند تاثیر بگذارد.

در ادامه به بررسی چگونگی تاثیرگذاری بر این عوامل خواهیم پرداخت، اما ابتدا باید با سازوکار خزنده یا کراولر گوگل آشنا شویم.

سازوکار خزنده گوگل

خزنده گوگل یا Googlebot، برنامه‌ای است که وبسایت‌ها را مرور کرده و اطلاعات صفحات مختلف را جمع‌آوری می‌کند. این اطلاعات سپس در پایگاه داده گوگل ذخیره می‌شود تا در نتایج جستجو به کاربران نمایش داده شود.

نحوه عملکرد Googlebot:

• شناسایی لینک‌ها: Googlebot با دنبال کردن لینک‌ها در وب، صفحات جدید را شناسایی می‌کند.
• جمع‌آوری داده‌ها: داده‌های صفحات شامل متن، تصاویر، و لینک‌های داخلی و خارجی جمع‌آوری می‌شوند.
• به‌روزرسانی پایگاه داده: اطلاعات جمع‌آوری شده به پایگاه داده گوگل اضافه می‌شوند و در نتایج جستجو استفاده می‌شوند.

یک کراولر (اسپایدر یا بات یا خزنده) لیستی از یوآرال هایی رو که در وبسایت شما باید تمامأ کراول و بررسی بشن در اختیار داره. کراولر همینطور گاهی فایل robots.txt شما رو هم بررسی میکنه تا مطمئن بشه که همه یوآرال ها هنوز مجوز بررسی دارن بعد یوآرال ها رو یکی یکی کراول میکنه. به محض کراول شدن یک یوآرال و کاویده شدن محتواش اسپایدر یوآرال های جدیدی رو که در اون صفحه برای بررسی پیدا کرده به لیست انجام کارش اضافه میکنه.

مواردی وجود داره که بدون شک گوگل رو ملزم به کراول کردن یک یوآرال میکنن. ممکنه کراولر لینک های جدیدی به محتوا پیدا کرده باشه، یا کاربرهایی محتوا رو توئیت کرده باشند، یا محتوا در XML sitemap  آپدیت شده باشه و غیره. وقتی گوگل تشخیص داد که یک یوآر ال باید کراول بشه اون رو به لیست انجام کارش to-do list اضافه می کنه.

تاثیرگذاری بر سهمیه خزش

شما می‌توانید با بهبود عوامل زیر، سهمیه خزش سایت خود را افزایش دهید:

1. بهبود ساختار سایت: استفاده از ساختار مناسب و قابل فهم برای گوگل می‌تواند به بهبود سهمیه خزش کمک کند.
2. کاهش خطاهای سایت: بررسی و رفع خطاهای موجود در سایت، مانند خطاهای 404 و لینک‌های شکسته، می‌تواند تاثیر مثبتی داشته باشد.
3. افزایش لینک‌های خارجی: ایجاد محتوای ارزشمند که به آن لینک داده شود، می‌تواند به افزایش سهمیه خزش کمک کند.
4. بهبود سرعت سایت: سایت‌هایی که سریع‌تر بارگذاری می‌شوند، معمولاً سهمیه خزش بیشتری دارند.

محدودیت نرخ خزش (Crawl Rate Limit)

برای جلوگیری از بار سنگین بر روی وبسایت شما، گوگل از محدودیت نرخ خزش (Crawl Rate Limit) استفاده می‌کند تا اطمینان حاصل کند که خزش بیش از حد باعث کندی سایت شما نمی‌شود. این محدودیت به تعداد کانکشن‌های همزمان موازی و همچنین زمان انتظار بین هر خزش بستگی دارد. به زبان ساده، crawl rate limit عبارت است از:

• تعداد کانکشن‌های همزمان موازی که ممکن است خزنده برای خزش سایت استفاده کند.
• زمان انتظار بین خزش‌ها که می‌تواند بسته به عملکرد و سلامت سایت متغیر باشد.

عوامل موثر بر تغییر نرخ خزش

چند فاکتور می‌توانند بر بالا و پایین رفتن نرخ خزش تاثیرگذار باشند:

1. سلامت خزش (Crawl Health):

   • سرعت واکنش سایت: اگر سرعت واکنش سایت برای مدتی خوب باشد، محدودیت افزایش می‌یابد و خزنده‌ها می‌توانند از کانکشن‌های بیشتری برای خزش استفاده کنند.
   • وجود خطاها: اگر سرعت سایت کاهش یابد یا خطاهای متعددی در واکنش‌ها وجود داشته باشد، محدودیت کاهش می‌یابد و خزنده‌ها کمتر خزش می‌کنند.

2. تنظیمات محدودیت در سرچ کنسول:

   • کنترل توسط صاحبان سایت: صاحبان سایت‌ها می‌توانند از طریق سرچ کنسول گوگل، تنظیماتی انجام دهند تا خزنده‌ها سایت را کمتر خزش کنند. توجه داشته باشید که افزایش محدودیت به طور خودکار باعث افزایش خزش نمی‌شود.

3. بازدید و استفاده از سایت:

   • تاثیر بازدید کاربران: اگر سایت شما بازدید و استفاده کمی داشته باشد، سرعت واکنش سایت شما به خزنده‌ها بالاتر می‌رود و احتمالاً خزنده‌ها بیشتر سایت شما را بررسی می‌کنند.

تنظیمات محدودیت در سرچ کنسول

گوگل به صاحبان سایت‌ها اجازه می‌دهد تا از طریق سرچ کنسول (Google Search Console) کنترل بیشتری بر روی نرخ خزش (Crawl Rate) سایت خود داشته باشند. این امکان به شما اجازه می‌دهد تا تنظیماتی انجام دهید که خزنده‌های گوگل سایت شما را کمتر خزش کنند. در ادامه به روش انجام این تنظیمات می‌پردازیم:

مراحل تنظیم نرخ خزش در سرچ کنسول:

1. ورود به حساب سرچ کنسول:

   • وارد حساب گوگل خود شوید و به Google Search Console بروید.
   • سایتی که می‌خواهید تنظیمات خزش آن را تغییر دهید، انتخاب کنید.

2. دسترسی به تنظیمات خزش:

   • از منوی سمت چپ، به بخش Settings بروید.
   • در بخش تنظیمات، گزینه Crawl rate settings را پیدا کنید.

3. تنظیم محدودیت نرخ خزش:

   • در این بخش، گزینه Limit Googlebot’s maximum crawl rate را انتخاب کنید.
   • با استفاده از نوار لغزنده (slider) یا وارد کردن عدد، میزان نرخ خزش را تنظیم کنید. می‌توانید میزان خزش را بر اساس تعداد درخواست‌ها در ثانیه (requests per second) تنظیم کنید.

4. ذخیره تغییرات:

   • پس از تنظیم میزان نرخ خزش مورد نظر، تغییرات خود را ذخیره کنید.
   • توجه داشته باشید که تغییرات ممکن است بلافاصله اعمال نشوند و کمی زمان ببرد تا گوگل تنظیمات جدید را اعمال کند.

نکات مهم در تنظیم نرخ خزش:

• افزایش محدودیت به طور خودکار باعث افزایش خزش نمی‌شود: اگرچه شما می‌توانید نرخ خزش را افزایش دهید، این به معنای خزش بیشتر به صورت خودکار نیست. گوگل همچنان بر اساس اولویت‌بندی و نیاز، سایت شما را خزش خواهد کرد.
• بهینه‌سازی برای کاربران: همیشه اولویت باید بهینه‌سازی سایت برای تجربه کاربران باشد. کاهش نرخ خزش ممکن است باعث کاهش سرعت ایندکس شدن صفحات جدید یا به‌روزرسانی شده شود.
• پایش عملکرد سایت: پس از اعمال تغییرات، عملکرد سایت و تأثیر آن بر خزش گوگل را به دقت پایش کنید تا مطمئن شوید که تغییرات اعمال شده تأثیر منفی بر رتبه‌بندی سایت شما ندارند.

درخواست کراول (Crawl Demand)

خزنده‌های گوگل برای تعیین میزان فعالیت یا غیرفعال بودن هر URL به تعداد درخواست‌هایی که آن URL برای ایندکس دریافت می‌کند توجه می‌کنند. این موضوع به دو فاکتور اصلی بستگی دارد:

1. محبوبیت (Popularity):

   • URLهای محبوب بیشتر از URLهای نامحبوب تمایل به خزش و ایندکس شدن دارند. محبوبیت یک صفحه می‌تواند به تعداد بازدیدها، لینک‌های خارجی به آن صفحه و میزان تعامل کاربران با آن بستگی داشته باشد.

2. کهنگی (Freshness):

   • سیستم گوگل تمایل دارد URLهای قدیمی را کمتر خزش کند و محتوای به‌روز شده را ترجیح می‌دهد. صفحات با محتوای به‌روزرسانی شده بیشتر مورد توجه خزنده‌ها قرار می‌گیرند.

نحوه تعیین بودجه یا سهمیه خزش

گوگل از دو عامل اصلی درخواست کراول (Crawl Demand) و نرخ کراول (Crawl Rate) برای تعیین بودجه یا سهمیه خزش استفاده می‌کند. این بودجه تعیین می‌کند که خزنده‌های گوگل چند URL را در یک بازه زمانی خاص می‌توانند خزش کنند.

درخواست کراول (Crawl Demand)

درخواست کراول به میزان تقاضا برای خزش یک URL خاص اشاره دارد. این تقاضا به عواملی مانند محبوبیت و تازگی صفحه بستگی دارد.

نرخ کراول (Crawl Rate)

نرخ کراول تعداد کانکشن‌های همزمان و زمان انتظار بین خزش‌ها را تعیین می‌کند. این نرخ برای جلوگیری از بار اضافی بر روی سرورهای سایت تنظیم می‌شود.

ایندکس باجت (Index Budget) و کراول باجت (Crawl Budget) دو مفهوم مرتبط اما متفاوت در بهینه‌سازی موتورهای جستجو (SEO) هستند که درک صحیح آنها برای مدیریت بهتر سایت و بهبود رتبه‌بندی ضروری است.

سهمیه خزش (Crawl Budget)

سهمیه خزش تعداد صفحاتی است که خزنده‌های گوگل (Googlebot) می‌توانند در یک بازه زمانی مشخص (معمولا یک روز) از سایت شما خزش کنند. این سهمیه بر اساس دو عامل اصلی تعیین می‌شود:

1. Crawl Rate Limit:

   • تعداد کانکشن‌های همزمان و زمان انتظار بین هر خزش که گوگل برای جلوگیری از بار سنگین بر روی سرورهای سایت شما تنظیم می‌کند.

2. Crawl Demand:

   • میزان تقاضا برای خزش یک URL خاص که به محبوبیت و تازگی صفحه بستگی دارد.

سهمیه ایندکس (Index Budget)

سهمیه ایندکس تعداد صفحاتی است که گوگل می‌تواند در پایگاه داده خود ایندکس کند. این سهمیه تعیین می‌کند که چه تعداد URL می‌توانند در نتایج جستجو نمایش داده شوند. تفاوت این دو زمانی روشن می‌شود که یک سایت چند صفحه 404 داشته باشد:

• هر صفحه‌ای که درخواست خزش داشته باشد، در سهمیه خزش محسوب می‌شود.
• اگر این صفحه به دلیل یک پیام خطا (مثل 404) نتواند ایندکس شود، سهمیه ایندکس به مصرف رسیده اما صفحه ایندکس نشده است.

اهمیت سهمیه خزش در سئو

داشتن سهمیه خزش کافی برای بهینه‌سازی سایت و بهبود رتبه‌بندی در نتایج جستجو ضروری است. گوگل برای اینکه به یک صفحه رتبه بدهد، ابتدا باید آن را ایندکس کند. بنابراین، اگر تعداد صفحات شما از سهمیه خزش سایت‌تان بیشتر باشد، تعدادی از صفحات وبسایت شما ایندکس نخواهند شد.

مواردی که باید به سهمیه خزش اهمیت داد

اضافه کردن چندین صفحه به وبسایت

اگر به تازگی یک بخش جدید با صدها صفحه به وبسایت خود اضافه کرده‌اید و می‌خواهید تمامی صفحات جدید خزش و ایندکس شوند، باید به سهمیه خزش توجه کنید. صفحات جدید ممکن است به دلیل محدودیت سهمیه خزش، به سرعت ایندکس نشوند و در نتایج جستجو نمایش داده نشوند.

سایت‌های بزرگ

در صورتی که سایت بزرگی دارید، مثلا یک سایت تجارت الکترونیک با بیش از 5000 صفحه، گوگل ممکن است در خزش و ایندکس کردن تمامی صفحات شما با مشکل مواجه شود. سایت‌های بزرگ با تعداد صفحات زیاد نیازمند مدیریت دقیق‌تری بر سهمیه خزش هستند تا اطمینان حاصل شود که همه صفحات مهم ایندکس می‌شوند.

ریدایرکت‌های زیاد

ریدایرکت‌های زیاد و زنجیره ریدایرکت‌ها می‌توانند سهمیه خزش شما را به سرعت مصرف کنند. بنابراین، باید مدیریت مناسبی روی ریدایرکت‌ها داشته باشید تا از مصرف بیهوده سهمیه خزش جلوگیری کنید و اطمینان حاصل کنید که صفحات مهم شما به درستی خزش و ایندکس می‌شوند.

چرا داشتن سهمیه خزش در سئو ضروری است؟

دلیلش ساده است! گوگل برای اینکه به یک صفحه رتبه بدهد باید آن را ایندکس کند. یعنی اگر تعداد صفحات شما از سهمیه خزش سایت‌تان بیشتر باشد، تعدادی از صفحات وبسایت شما ایندکس نخواهند شد.

خوشبختانه اغلب وبسایت‌ها از بابت سهمیه خزش نگرانی ندارند، زیرا گوگل در رهگیری و ایندکس کردن صفحات مهارت دارد. با این حال، در موارد زیر باید به سهمیه خزش اهمیت داد:

1. اضافه کردن چندین صفحه به وبسایت: زمانی که بخش جدیدی با صفحات زیاد به وبسایت اضافه می‌کنید و نیاز دارید تمامی آنها به سرعت ایندکس شوند.

2. سایت‌های بزرگ: مدیریت خزش و ایندکس برای سایت‌های با صفحات زیاد.

3. ریدایرکت‌های زیاد: جلوگیری از مصرف بیهوده سهمیه خزش به دلیل وجود ریدایرکت‌ها.

چطور میشه سهمیه خزش رو افزایش داد؟

برای افزایش تعداد صفحاتی که گوگل در سایت شما کراول می‌کند، می‌توانید اقدامات زیر را انجام دهید:

1. تنظیمات فایل robots.txt

یکی از اولین گام‌ها برای بهبود سهمیه خزش، تنظیم درست فایل robots.txt است. این فایل به خزنده‌های موتور جستجو می‌گوید کدام صفحات را می‌توانند یا نمی‌توانند خزش کنند. برای تنظیم فایل robots.txt:

• اجازه کراول شدن صفحات مهم: مطمئن شوید که صفحات مهم و کلیدی سایت شما در فایل robots.txt اجازه خزش دارند.
• استفاده از ابزارهای اتوماسیون: برای ساده‌تر شدن کل پروسه، می‌توانید از ابزارهایی مانند Website Auditor استفاده کنید.

مراحل استفاده از ابزار Website Auditor:

1. افزودن فایل robots.txt:
   • ابزار Website Auditor را باز کنید.
   • فایل robots.txt خود را به ابزار اضافه کنید.
2. مجوز خزش صفحات:
   • به راحتی مجوز یا عدم مجوز خزش هر صفحه‌ای از دامنه خود را صادر کنید.
   • با استفاده از رابط کاربری ساده ابزار، می‌توانید تنظیمات را در عرض چند ثانیه انجام دهید.
3. آپلود فایل ویرایش‌شده:
   • پس از انجام تنظیمات لازم، فایل ویرایش‌شده را دانلود کنید.
   • فایل robots.txt ویرایش‌شده را در سرور خود آپلود کنید.

نکته! اگر سایت بزرگی دارید، استفاده از یک ابزار اتوماسیون خیلی راحت‌تر و کارآمدتر از انجام دستی این کار است.

2. بهبود سرعت سایت

بهبود سرعت بارگذاری صفحات یکی از مهم‌ترین عواملی است که می‌تواند سهمیه خزش شما را افزایش دهد. صفحاتی که سریع‌تر بارگذاری می‌شوند، به خزنده‌ها اجازه می‌دهند تا صفحات بیشتری را در زمان کوتاه‌تری خزش کنند.

• بهینه‌سازی تصاویر: استفاده از تصاویر فشرده‌شده و با کیفیت مناسب.
• استفاده از کشینگ: فعال‌سازی کشینگ برای کاهش زمان بارگذاری صفحات.
• کاهش درخواست‌های HTTP: ترکیب فایل‌های CSS و JavaScript.

3. رفع خطاهای سایت

خطاهای موجود در سایت می‌توانند سهمیه خزش شما را کاهش دهند. بررسی و رفع خطاهای مختلف مانند خطاهای 404 و لینک‌های شکسته می‌تواند تاثیر زیادی بر بهبود سهمیه خزش داشته باشد.

• استفاده از ابزارهای بررسی سایت: ابزارهایی مانند Google Search Console برای شناسایی و رفع خطاها.
• اصلاح لینک‌های شکسته: بررسی و اصلاح لینک‌های داخلی و خارجی که به صفحات معیوب اشاره دارند.

4. بهبود ساختار لینک‌های داخلی

ساختار مناسب لینک‌های داخلی می‌تواند به خزنده‌ها کمک کند تا صفحات شما را به راحتی پیدا و خزش کنند.

• ایجاد لینک‌های داخلی مرتبط: استفاده از لینک‌های داخلی که به صفحات مهم و کلیدی سایت اشاره دارند.
• استفاده از نقشه سایت (Sitemap): ایجاد و آپلود نقشه سایت XML که به خزنده‌ها کمک می‌کند تمامی صفحات سایت شما را به راحتی پیدا کنند.

5. افزایش لینک‌های خارجی به سایت

لینک‌های خارجی با کیفیت به سایت شما می‌توانند محبوبیت صفحات شما را افزایش دهند و در نتیجه سهمیه خزش را بهبود بخشند.

• ایجاد محتوای ارزشمند: تولید محتوایی که کاربران تمایل به اشتراک‌گذاری آن داشته باشند.
• استفاده از استراتژی‌های لینک‌سازی: همکاری با سایت‌های معتبر برای دریافت بک‌لینک.

نگهداری از وبسایت: کاستن خطاها

برای اطمینان از عملکرد صحیح وبسایت و بهبود سهمیه خزش، باید مطمئن شوید که همه صفحات کراول شده به درستی به کدهای وضعیت HTTP صحیح برمی‌گردند. صفحات باید یکی از کدهای زیر را بازگردانند:

• کد وضعیت 200: نشان‌دهنده موفقیت‌آمیز بودن درخواست و دسترسی صحیح به صفحه.
• کد وضعیت 301: نشان‌دهنده ریدایرکت دائمی صفحه به یک آدرس جدید.

هر کد وضعیت دیگری اشتباه است و باید در اولین فرصت اصلاح شود.

مراحل کاستن خطاها

1. بررسی server log وبسایت

برای شناسایی و اصلاح خطاها، به server log وبسایت خود مراجعه کنید. server log شامل اطلاعات دقیقی درباره درخواست‌ها و پاسخ‌های HTTP است.

2. شناسایی و مرتب‌سازی خطاها

پس از دسترسی به server log:

1. انتخاب URLهای دارای خطا:
   • URLهایی را که به کد 200 یا کد 301 برنگشته‌اند، شناسایی کنید.
2. مرتب‌سازی بر اساس نحوه دسترسی:
   • URLهای دارای خطا را بر اساس نوع خطا و تعداد دسترسی‌ها مرتب کنید.

3. اصلاح خطاها

پس از شناسایی خطاها، باید به اصلاح آنها بپردازید. این اصلاحات می‌تواند شامل موارد زیر باشد:

1. ریدایرکت URLها:

   • URLهایی که به دلیل تغییر مسیر نادرست یا حذف صفحه به خطا منجر شده‌اند، را به مکان‌های مناسب ریدایرکت کنید.

2. اصلاح کدهای صفحات:

   • صفحات دارای خطای داخلی (مانند کدهای وضعیت 500) را اصلاح کنید تا به کد وضعیت 200 برگردند.

3. رفع منابع خطا:

   • اگر دلیل اصلی خطا را می‌دانید، سعی کنید منبع خطا را نیز اصلاح کنید تا از تکرار آن جلوگیری شود.

4. استفاده از ابزارهای آنالیتیک

ابزارهای آنالیتیک مانند گوگل آنالیتیکس می‌توانند به شما در شناسایی صفحات دارای کد وضعیت 200 کمک کنند. با این حال، این ابزارها قادر به ردیابی صفحات دارای خطاهای دیگر نیستند، بنابراین بررسی server log همیشه مطمئن‌تر است.

5. مانیتورینگ مداوم

پس از اصلاح خطاها، مانیتورینگ مداوم وضعیت صفحات و server log برای شناسایی خطاهای جدید و جلوگیری از مشکلات احتمالی ضروری است.

قسمت هایی از وبسایتتون رو بلاک کنید

اگر نمی‌خواهید قسمت‌هایی از سایتتان توسط گوگل خزش و بررسی شود، می‌توانید با استفاده از فایل robots.txt آن‌ها را بلاک کنید. این کار می‌تواند به بهینه‌سازی سهمیه خزش شما کمک کند و منابع خزشی را به صفحات مهم‌تر سایت اختصاص دهد. اما مطمئن شوید که دقیقاً می‌دانید چه کاری انجام می‌دهید.

نکات مهم برای بلاک کردن بخش‌های خاصی از سایت:

1. استفاده از فایل robots.txt:

   • فایل robots.txt را در ریشه دامنه سایت خود ایجاد یا ویرایش کنید.
   • برای بلاک کردن بخش‌هایی از سایت، از دستور Disallow استفاده کنید.

   مثال:

   User-agent: * Disallow: /path/to/block/

   1 2	User-agent: * Disallow: /path/to/block/

    

• بلاک کردن URLهای تکراری و بی‌ارزش:

  • برخی از صفحات ممکن است تکراری یا بی‌ارزش باشند و خزش آن‌ها فقط منابع خزشی را هدر دهد. این صفحات را شناسایی و بلاک کنید.

• مدیریت URLهای فیلترشده در سایت‌های بزرگ تجارت الکترونیک:

  • یکی از مشکلات متداول در وبسایت‌های بزرگ تجارت الکترونیک، وجود چندین راه برای فیلتر کردن محصولات است که می‌تواند URLهای جدید زیادی ایجاد کند.
  • اگر در چنین وضعیتی هستید، مطمئن شوید که خزنده‌ها فقط به یکی دو تا از این فیلترها دسترسی دارند و بقیه را بلاک کنید.

  مثال:

  User-agent: * Disallow: /filter1/ Disallow: /filter2/

  1 2 3

  User-agent: * Disallow: /filter1/ Disallow: /filter2/

   

مراحل انجام کار:

1. شناسایی بخش‌های بلاک‌شدنی:

   • بخش‌هایی از سایت که خزش آن‌ها ضروری نیست را شناسایی کنید. این بخش‌ها می‌توانند شامل صفحات تکراری، صفحات فیلتر شده زیاد و بخش‌های بی‌ارزش برای سئو باشند.

2. ویرایش فایل robots.txt:

   • فایل robots.txt را در ریشه دامنه وبسایت خود باز کنید یا ایجاد کنید.
   • بخش‌های شناسایی شده را با استفاده از دستور Disallow بلاک کنید.

3. بررسی تاثیرات:

   • پس از اعمال تغییرات، تاثیرات آن را بررسی کنید تا مطمئن شوید که صفحات مهم به درستی خزش می‌شوند و صفحات بی‌ارزش بلاک شده‌اند.
   • می‌توانید از ابزارهای مختلفی مانند Google Search Console برای بررسی وضعیت استفاده کنید.

4. به‌روزرسانی و نگهداری:

   • فایل robots.txt را به‌طور منظم بررسی و به‌روزرسانی کنید تا مطمئن شوید که همچنان موثر و به‌روز است.

بلاک کردن بخش‌هایی از وبسایت با استفاده از فایل robots.txt می‌تواند به بهینه‌سازی سهمیه خزش کمک کند و منابع خزشی را به صفحات مهم‌تر اختصاص دهد. با شناسایی دقیق صفحات بی‌ارزش و مدیریت صحیح URLهای فیلتر شده، می‌توانید از این ابزار برای بهبود سئو سایت خود بهره ببرید.

جلوگیری از ایجاد صفحات یتیم (Orphan Pages)

صفحات یتیم صفحاتی از وبسایت هستند که هیچ لینک داخلی یا خارجی به آن‌ها داده نشده است. پیدا کردن این صفحات برای گوگل بسیار زمان‌بر است. بنابراین، اگر می‌خواهید از سهمیه خزش خود حداکثر استفاده را ببرید، مطمئن شوید که حداقل یک لینک داخلی یا خارجی به همه صفحات سایت شما وجود دارد.

اهمیت لینک‌دهی به صفحات یتیم

• افزایش نرخ خزش: صفحات یتیم به دلیل نداشتن لینک، به سختی توسط خزنده‌های گوگل پیدا می‌شوند. با لینک‌دهی مناسب، می‌توانید نرخ خزش صفحات را افزایش دهید.
• بهبود ایندکس شدن: لینک‌دهی به صفحات یتیم باعث می‌شود که این صفحات سریع‌تر ایندکس شوند و در نتایج جستجو نمایش داده شوند.
• بهبود تجربه کاربری: لینک‌دهی داخلی مناسب، تجربه کاربری را بهبود می‌بخشد و کاربران را به راحتی به صفحات مختلف سایت هدایت می‌کند.

مراحل شناسایی و رفع صفحات یتیم

1. استفاده از ابزارهای آنالیتیک:

   • ابزارهایی مانند Google Analytics و Google Search Console می‌توانند به شما کمک کنند تا صفحات یتیم را شناسایی کنید.
   • ابزارهای تخصصی سئو مانند Screaming Frog و Ahrefs نیز می‌توانند برای شناسایی این صفحات مفید باشند.

2. بررسی ساختار لینک‌دهی داخلی:

   • بررسی کنید که آیا همه صفحات شما دارای لینک‌های داخلی هستند یا خیر. این کار را می‌توانید با استفاده از ابزارهای آنالیز سایت انجام دهید.

3. ایجاد و بهبود لینک‌های داخلی:

   • به هر صفحه یتیم حداقل یک لینک داخلی از صفحات مرتبط دیگر بدهید. این لینک‌ها می‌توانند از طریق محتوا، منوها یا فوتر سایت باشند.
   • استفاده از نقشه سایت (Sitemap) نیز می‌تواند به خزش بهتر کمک کند.

4. لینک‌های خارجی:

   • در صورت امکان، سعی کنید به صفحات یتیم خود لینک‌های خارجی بدهید. این لینک‌ها می‌توانند از سایت‌های معتبر و مرتبط به دست آیند.

5. به‌روزرسانی و نگهداری مداوم:

   • به‌طور منظم ساختار لینک‌دهی داخلی سایت خود را بررسی و به‌روزرسانی کنید تا مطمئن شوید که هیچ صفحه‌ای یتیم نمی‌ماند.
   • از ابزارهای نظارت بر لینک‌ها برای شناسایی و رفع لینک‌های شکسته استفاده کنید.

جلوگیری از ایجاد صفحات یتیم یکی از مهم‌ترین اقداماتی است که می‌توانید برای بهینه‌سازی سهمیه خزش و بهبود رتبه‌بندی سایت خود انجام دهید. با لینک‌دهی داخلی و خارجی مناسب، می‌توانید مطمئن شوید که تمامی صفحات سایت شما به راحتی توسط خزنده‌های گوگل پیدا شده و ایندکس می‌شوند. این کار نه تنها به بهبود سئو سایت کمک می‌کند، بلکه تجربه کاربری بهتری را نیز فراهم می‌آورد.

بهینه کردن سرعت سایت

بهینه‌سازی سرعت وبسایت یکی از مهم‌ترین عواملی است که می‌تواند تجربه کاربری و نرخ خزش (Crawl Rate) گوگل را بهبود بخشد. صفحات کند باعث هدر رفتن زمان ارزشمند خزنده‌های گوگل می‌شوند و می‌توانند تاثیر منفی بر رتبه‌بندی سایت شما داشته باشند. حتی گوگل تاکید می‌کند که:

“بالا بردن سرعت سایت باعث خوشنودی بیشتر کاربرها و افزایش نرخ کراول می‌شود.”

زنجیره های ریدایرکت را کاهش بدید

زنجیره‌های ریدایرکت، یعنی ریدایرکت‌های متعدد که به یکدیگر متصل می‌شوند، می‌توانند مشکلاتی برای خزنده‌های گوگل ایجاد کنند. این زنجیره‌ها باعث اتلاف وقت خزنده‌ها و کاهش سهمیه خزش شما می‌شوند. بهبود ساختار ریدایرکت‌ها می‌تواند به افزایش کارایی خزش و بهبود رتبه‌بندی سایت شما کمک کند.

مشکلات زنجیره‌های ریدایرکت

1. کاهش سهمیه خزش: هر ریدایرکت اضافی باعث مصرف بیشتر سهمیه خزش می‌شود.
2. کاهش سرعت بارگذاری: هر ریدایرکت اضافی باعث افزایش زمان بارگذاری صفحه می‌شود، که می‌تواند تجربه کاربری را نیز تحت تاثیر قرار دهد.
3. کاهش اولویت خزش: ریدایرکت‌های پیچیده می‌توانند باعث کاهش اولویت خزش صفحات مهم شوند.

روش‌های کاهش زنجیره‌های ریدایرکت

1. بررسی و تحلیل ریدایرکت‌ها:

   • از ابزارهای تحلیل مانند Screaming Frog یا Ahrefs برای شناسایی و بررسی زنجیره‌های ریدایرکت استفاده کنید.
   • ریدایرکت‌های غیرضروری و پیچیده را شناسایی کنید.

2. ترکیب ریدایرکت‌ها:

   • ریدایرکت‌های متعدد را ترکیب کنید تا تعداد ریدایرکت‌ها کاهش یابد.
   • به جای چندین ریدایرکت متوالی، یک ریدایرکت مستقیم ایجاد کنید.

   مثال:

   • به جای ریدایرکت از http://example.com به http://www.example.com و سپس به https://www.example.com، مستقیماً از http://example.com به https://www.example.com ریدایرکت کنید.

3. استفاده از ریدایرکت‌های مستقیم:

   • از ریدایرکت‌های مستقیم و کوتاه استفاده کنید تا زمان بارگذاری کاهش یابد و سهمیه خزش بهینه‌تر مصرف شود.
   • از ریدایرکت‌های 301 (ریدایرکت دائمی) برای تغییرات دائمی و 302 (ریدایرکت موقت) برای تغییرات موقت استفاده کنید.

4. بهینه‌سازی URLها:

   • مطمئن شوید که URLهای جدید بهینه و ساده هستند.
   • از ایجاد URLهای پیچیده و تودرتو خودداری کنید.

5. بررسی و اصلاح منظم:

   • به صورت منظم ساختار ریدایرکت‌ها را بررسی کنید.
   • خطاها و ریدایرکت‌های غیرضروری را اصلاح کنید.

ابزارهای مفید برای مدیریت ریدایرکت‌ها

1. Screaming Frog SEO Spider: برای شناسایی و تحلیل زنجیره‌های ریدایرکت و خطاهای سایت.
2. Ahrefs: برای تحلیل بک‌لینک‌ها و ریدایرکت‌ها.
3. Google Search Console: برای نظارت بر عملکرد سایت و شناسایی مشکلات خزش.

ساختن لینک‌های بیشتر برای بهبود سهمیه خزش

کسب لینک‌های بیشتر از سایت‌های معتبر می‌تواند تاثیر قابل توجهی بر بهبود سئو و افزایش سهمیه خزش سایت شما داشته باشد. این فرایند تنها به داشتن محتوای عالی ختم نمی‌شود، بلکه باید بتوانید دیگران را متقاعد کنید که سایت شما ارزش لینک‌دهی را دارد. در واقع، این کار نیازمند مهارت‌های روابط عمومی و تعاملات خوب در شبکه‌های اجتماعی است.

چرا ساختن لینک مهم است؟

1. بهبود رتبه‌بندی در نتایج جستجو: لینک‌های با کیفیت از سایت‌های معتبر به گوگل نشان می‌دهند که سایت شما ارزشمند است، که می‌تواند رتبه‌بندی شما را در نتایج جستجو بهبود بخشد.
2. افزایش سهمیه خزش: سایت‌هایی که لینک‌های بیشتری از سایت‌های معتبر دارند، به احتمال زیاد سهمیه خزش بیشتری از گوگل دریافت می‌کنند.
3. افزایش ترافیک ارجاعی: لینک‌های خارجی می‌توانند ترافیک بیشتری به سایت شما جذب کنند که می‌تواند به بهبود نرخ تبدیل و درآمد منجر شود.

محدود کردن محتوای تکراری

محتوای تکراری یکی از بزرگ‌ترین موانع برای بهره‌وری سهمیه خزش و بهبود سئو است. گوگل نمی‌خواهد منابع خود را برای ایندکس کردن صفحات تکراری هدر دهد. بنابراین، باید مطمئن شوید که وبسایت شما محتوای منحصر به فرد و با کیفیتی دارد. در ادامه، به بررسی روش‌هایی برای محدود کردن محتوای تکراری پرداخته‌ایم:

چرا محتوای تکراری مشکل‌ساز است؟

1. هدر رفتن سهمیه خزش: گوگل زمان و منابع خود را برای خزش و ایندکس کردن صفحات تکراری هدر می‌دهد که می‌توانست به صفحات جدید و منحصر به فرد اختصاص یابد.
2. کاهش رتبه‌بندی: محتوای تکراری می‌تواند باعث کاهش رتبه‌بندی سایت شما در نتایج جستجو شود زیرا گوگل نمی‌تواند تعیین کند کدام نسخه از محتوا باید رتبه‌بندی شود.
3. کاهش تجربه کاربری: کاربران نیز از دیدن محتوای تکراری ناراضی خواهند بود که می‌تواند منجر به ترک سایت و کاهش نرخ تبدیل شود.

روش‌های موثر برای محدود کردن محتوای تکراری

1. ایجاد محتوای منحصر به فرد:

   • تولید محتوای اصیل و با کیفیت که توسط دیگران نوشته نشده باشد.
   • استخدام نویسندگان حرفه‌ای برای ایجاد محتوای منحصر به فرد در صورت نیاز.

2. استفاده از تگ‌های کنونیکال (Canonical Tags):

   • اگر مجبور به استفاده از محتوای مشابه در چندین صفحه هستید، از تگ‌های کنونیکال استفاده کنید تا به گوگل بگویید کدام نسخه اصلی است.
   • تگ کنونیکال را به صفحات مرتبط اضافه کنید تا از ایندکس شدن صفحات تکراری جلوگیری کنید.

   مثال:

• پرهیز از پارامترهای URL تکراری:

  • پارامترهای URL می‌توانند باعث ایجاد نسخه‌های مختلف از یک صفحه شوند. استفاده از ابزارهای مناسب برای مدیریت پارامترهای URL می‌تواند از ایجاد محتوای تکراری جلوگیری کند.
  • استفاده از URLهای ثابت و بدون پارامترهای اضافی.

• تغییر مسیر (Redirect) صفحات تکراری:

  • صفحات تکراری را به صفحات اصلی ریدایرکت کنید تا از نمایش نسخه‌های متعدد جلوگیری شود.
  • استفاده از ریدایرکت 301 برای انتقال دائمی محتوای تکراری به نسخه اصلی.

• بررسی و اصلاح محتوای تکراری موجود:

  • با استفاده از ابزارهای تحلیل مانند Screaming Frog، Google Search Console و Copyscape، محتوای تکراری موجود در سایت را شناسایی کنید.
  • اصلاح یا حذف محتوای تکراری برای بهبود کیفیت و اصالت محتوا.

• به‌روزرسانی و نگهداری مداوم:

  • به‌طور منظم محتوای سایت را بررسی و به‌روزرسانی کنید تا از تولید محتوای تکراری جلوگیری شود.
  • اطمینان حاصل کنید که هر محتوای جدیدی که اضافه می‌شود، منحصر به فرد و با کیفیت است.

استفاده از HTML به جای سایر فرمت‌ها

استفاده از HTML به جای سایر فرمت‌ها مانند JavaScript و XML می‌تواند به بهبود عملکرد خزش و ایندکس شدن صفحات شما توسط موتورهای جستجو کمک کند. گوگل به مرور زمان توانایی خزنده‌های خود را در پردازش جاوااسکریپت و XML بهبود بخشیده است، اما سایر موتورهای جستجو هنوز در این زمینه عقب‌تر هستند. بنابراین، در حد امکان از HTML استفاده کنید تا از مزایای آن بهره‌مند شوید.

دلایل استفاده از HTML

1. سازگاری بهتر با موتورهای جستجو:

   • HTML همچنان استانداردی است که همه موتورهای جستجو به خوبی می‌توانند آن را خزش و ایندکس کنند.
   • استفاده از HTML به جای JavaScript و XML می‌تواند تضمین کند که محتوای شما توسط همه موتورهای جستجو دیده می‌شود.

2. ساده‌تر بودن برای خزنده‌ها:

   • خزنده‌های موتورهای جستجو مانند گوگل، بینگ و یاهو، بهترین عملکرد را در خزش و ایندکس کردن صفحات HTML دارند.
   • HTML به خزنده‌ها کمک می‌کند تا ساختار و محتوای صفحات شما را بهتر درک کنند.

3. افزایش سرعت بارگذاری:

   • صفحات HTML ساده‌تر و سبک‌تر هستند و به سرعت بارگذاری سایت کمک می‌کنند.
   • کاهش استفاده از JavaScript می‌تواند زمان بارگذاری صفحات را بهبود بخشد.

نکات کلیدی برای استفاده از HTML

1. ساختار ساده و منظم:

   • از یک ساختار ساده و منظم در کدنویسی HTML استفاده کنید تا خزنده‌ها به راحتی بتوانند محتوای شما را بخوانند و ایندکس کنند.
   • از تگ‌های HTML5 استفاده کنید که به خزنده‌ها کمک می‌کنند ساختار محتوای صفحه را بهتر درک کنند.

2. محتوای متنی قابل دسترسی:

   • مطمئن شوید که محتوای متنی اصلی شما در HTML قرار دارد و از جاسازی متن در تصاویر یا فایل‌های دیگر خودداری کنید.
   • استفاده از تگ‌های مناسب مانند <h1>, <h2>, <p> و <ul> برای سازماندهی محتوا.

3. پرهیز از محتوای مخفی در JavaScript:

   • محتوای مهم و کلیدی را مستقیماً در HTML قرار دهید و از مخفی کردن آن‌ها در کدهای JavaScript خودداری کنید.
   • خزنده‌های گوگل ممکن است توانایی خزش JavaScript را داشته باشند، اما سایر موتورهای جستجو ممکن است این توانایی را نداشته باشند.

4. استفاده از نقشه سایت HTML:

   • علاوه بر نقشه سایت XML، یک نقشه سایت HTML نیز ایجاد کنید که به خزنده‌ها کمک می‌کند به راحتی به تمامی صفحات سایت دسترسی پیدا کنند.

به‌روزرسانی نقشه سایت (XML Sitemap)

نقشه سایت (XML Sitemap) یک فایل حیاتی است که به خزنده‌های موتورهای جستجو کمک می‌کند تا به راحتی و کارآمدی به صفحات مختلف وبسایت شما دسترسی پیدا کنند. با به‌روزرسانی منظم نقشه سایت و اطمینان از صحیح بودن اطلاعات آن، می‌توانید به بهبود خزش و ایندکس شدن صفحات خود کمک کنید.

چرا به‌روزرسانی نقشه سایت مهم است؟

1. بهبود خزش و ایندکس شدن: نقشه سایت به خزنده‌ها کمک می‌کند تا صفحات جدید و به‌روزرسانی‌شده را سریع‌تر پیدا و ایندکس کنند.
2. مدیریت بهتر لینک‌های داخلی: با داشتن یک نقشه سایت به‌روز، می‌توانید لینک‌های داخلی را بهتر مدیریت کنید و مطمئن شوید که تمامی صفحات مهم به درستی خزش می‌شوند.
3. تضمین استفاده از URLهای کنونیکال: نقشه سایت باید فقط شامل URLهایی باشد که به عنوان کنونیکال در نظر گرفته شده‌اند، تا از ایندکس شدن صفحات تکراری جلوگیری شود.

مراحل به‌روزرسانی نقشه سایت

1. تولید نقشه سایت جدید:

   • از ابزارهای تولید نقشه سایت مانند Yoast SEO (برای وردپرس) یا XML Sitemaps Generator استفاده کنید تا نقشه سایت جدید و به‌روز تولید کنید.

2. شامل کردن URLهای کنونیکال:

   • مطمئن شوید که فقط URLهایی که به عنوان کنونیکال تعیین شده‌اند در نقشه سایت قرار دارند.
   • از قرار دادن صفحات تکراری، صفحات با پارامترهای URL متفاوت و صفحات با محتوای ضعیف خودداری کنید.

3. به‌روزرسانی robots.txt:

   • مطمئن شوید که فایل robots.txt شما آخرین نسخه نقشه سایت را شامل می‌شود.
   • در فایل robots.txt، مسیر نقشه سایت خود را مشخص کنید تا خزنده‌ها به راحتی بتوانند به آن دسترسی داشته باشند.

   مثال:

1. ارسال نقشه سایت به موتورهای جستجو:

   • نقشه سایت جدید خود را به موتورهای جستجو مانند گوگل و بینگ ارسال کنید.
   • برای ارسال نقشه سایت به گوگل، به Google Search Console بروید و از بخش Sitemaps نقشه سایت جدید خود را ارسال کنید.

2. بررسی وضعیت نقشه سایت:

   • وضعیت نقشه سایت خود را به‌طور منظم در Google Search Console بررسی کنید تا مطمئن شوید که هیچ خطایی وجود ندارد و تمامی صفحات به درستی ایندکس شده‌اند.
   • از ابزارهای مختلفی مانند Screaming Frog برای بررسی نقشه سایت و شناسایی مشکلات احتمالی استفاده کنید.

نکات کلیدی برای به‌روزرسانی نقشه سایت

• حذف URLهای غیرضروری: URLهایی که دیگر وجود ندارند یا نباید ایندکس شوند را از نقشه سایت حذف کنید.
• به‌روزرسانی منظم: نقشه سایت خود را به‌طور منظم به‌روزرسانی کنید تا اطمینان حاصل شود که همیشه شامل آخرین تغییرات است.
• استفاده از ابزارهای مانیتورینگ: از ابزارهای مانیتورینگ برای بررسی وضعیت نقشه سایت و اطمینان از عملکرد صحیح آن استفاده کنید.

اهمیت تگ‌های hreflang

تگ‌های hreflang برای وبسایت‌هایی که دارای محتوای localized (محلی‌سازی‌شده) هستند، حیاتی هستند. این تگ‌ها به خزنده‌های موتورهای جستجو مانند گوگل کمک می‌کنند تا نسخه‌های مختلف یک صفحه را برای زبان‌ها و مناطق جغرافیایی مختلف شناسایی و ایندکس کنند. به این ترتیب، کاربران به درستی به نسخه مناسب صفحه هدایت می‌شوند.

نحوه استفاده از تگ‌های hreflang

برای استفاده از تگ‌های hreflang در صفحات وبسایت خود، باید کدهای HTML مناسب را در هدر هر صفحه قرار دهید. همچنین باید از المنت <loc> در نقشه سایت XML خود برای هر URL استفاده کنید. در ادامه نحوه انجام این کار توضیح داده شده است:

استفاده از تگ hreflang در هدر صفحه

برای هر صفحه‌ای که نسخه‌های محلی‌سازی‌شده دارد، از تگ‌های زیر در هدر صفحه استفاده کنید:

lang_code کد زبان پشتیبانی‌شده است. در زیر مثال‌هایی از نحوه استفاده از این تگ آمده است:

مثال:

استفاده از المنت <loc> در نقشه سایت XML

برای هر URL مفروض، از المنت <loc> استفاده کنید تا ورژن‌های محلی‌سازی‌شده صفحه را نشان دهید:

نکات کلیدی

1. استفاده از کد زبان و منطقه صحیح: مطمئن شوید که از کد زبان و منطقه صحیح استفاده می‌کنید. برای مثال، برای اسپانیایی در مکزیک از es-MX و برای اسپانیایی در اسپانیا از es-ES استفاده کنید.
2. تگ x-default: استفاده از تگ x-default برای تعیین نسخه پیش‌فرض صفحه‌ای که برای کاربرانی که زبان یا منطقه خاصی مشخص نکرده‌اند.
3. تست و بررسی: از ابزارهای تست hreflang مانند ابزار Google Search Console برای بررسی صحت تگ‌های hreflang خود استفاده کنید.
4. تداوم و یکپارچگی: مطمئن شوید که تگ‌های hreflang در همه نسخه‌های یک صفحه هماهنگ و یکپارچه هستند تا از مشکلات خزش و ایندکس شدن جلوگیری شود.

چرا موتورهای جستجو سهمیه خزش تعیین می کنند؟

موتورهای جستجو مانند گوگل، منابع نامحدودی ندارند و باید توجه خود را بین میلیون‌ها سایت تقسیم کنند. به همین دلیل، برای اولویت‌بندی وظایف خود به روشی نیاز دارند تا بتوانند بهینه‌ترین استفاده را از منابع خود داشته باشند. بنابراین، با تعیین سهمیه خزش (Crawl Budget)، اولویت‌ها را مشخص می‌کنند.

دلایل تعیین سهمیه خزش:

1. مدیریت منابع محدود: موتورهای جستجو برای خزش و ایندکس کردن صفحات وب منابع محدودی دارند و باید بهینه از این منابع استفاده کنند.
2. اولویت‌بندی صفحات: تعیین سهمیه خزش به موتورهای جستجو کمک می‌کند تا صفحات مهم‌تر و پرطرفدارتر را در اولویت خزش قرار دهند.
3. کاهش بار سرور: با محدود کردن تعداد صفحات خزش‌شده، بار اضافی بر روی سرورهای وبسایت‌ها کاهش می‌یابد و عملکرد سایت تحت تاثیر قرار نمی‌گیرد.

چطور می‌توان سهمیه خزش را چک کرد؟

اگر وبسایت شما در Google Search Console تأیید شده باشد، می‌توانید با استفاده از این ابزار به اطلاعاتی در مورد سهمیه خزش خود دسترسی پیدا کنید. مراحل بررسی سهمیه خزش در Google Search Console:

1. ورود به Google Search Console:

   • به حساب Google Search Console خود وارد شوید.

2. انتخاب وبسایت:

   • وبسایت مورد نظر خود را از لیست انتخاب کنید.

3. دسترسی به بخش تنظیمات خزش:

   • از منوی سمت چپ به بخش Settings بروید.
   • سپس به قسمت Crawl و بعد Crawl Stats بروید.

4. بررسی آمار خزش:

   • در بخش Crawl Stats، می‌توانید تعداد صفحاتی که گوگل در هر روز خزش می‌کند را مشاهده کنید.
   • این آمار به شما نشان می‌دهد که چقدر از سهمیه خزش شما استفاده شده است و چه تعداد صفحات به‌طور مرتب توسط گوگل خزش می‌شوند.

نتیجه

سهمیه خزش برای سایت شما عاملی ضروری بوده، هست، و احتمالا در آینده هم خواهد بود. به همین دلیل منطقی است که بخواید به طور کامل از قدرت نفوذش استفاده کنید. برای اینکه بتونین از تمام مزایای سهمیه خزش برخوردار بشین چه اقداماتی انجام دادید؟ حالا نوبت شماست که سایتتون رو ارزیابی کنید و تنظیمات ضروری برای این منظور رو انجام بدین.