اگر سایت وردپرسی دارید و به بهینهسازی آن فکر میکنید، فایل robots.txt یکی از مهمترین بخشهایی است که باید جدی گرفته شود. این فایل کوچک کنترل میکند کدام بخشها توسط گوگل خزیده شوند و کدام نه. اگر بهدرستی تنظیم نشود، میتواند منجر به ایندکس شدن محتوای غیرضروری یا حتی هدررفت بودجه خزش (Crawl Budget) شود.
با پیکربندی دقیق robots.txt میتوانید:
از خزیده شدن صفحات کمارزش یا تکراری جلوگیری کنید.
مانع index bloat شوید (انباشت صفحات غیرضروری در نتایج جستجو).
تمرکز گوگل را روی محتوای اصلی و ارزشمند خود نگه دارید.
⚠️ هشدار: یک اشتباه کوچک در robots.txt ممکن است صفحات مهم سایت را از دید گوگل پنهان کند.
چه چیزهایی در این مقاله یاد میگیرید؟
چه بخشهایی را باید در robots.txt وردپرس مسدود کنید.
چه مواردی را نباید به این فایل اضافه کنید.
کدام مسیرها را هرگز نباید محدود کرد.
اگر میخواهید سایتتان بهدرستی ایندکس شود و سئو در مسیر درست حرکت کند، این راهنما را از دست ندهید.
فایل robots.txt معمولاً بیسروصدا در پسزمینه یک سایت وردپرسی وجود دارد. اما نسخهٔ پیشفرض آن بسیار ساده است و هیچ دستورالعمل شخصیسازیشدهای ندارد. بنابراین، برای سایتهایی که به بهینهسازی سئو نیاز دارند، سفارشیسازی آن ضروری است.
نکته: این مطلب تنها برای نصبهای وردپرس روی دایرکتوری ریشه دامنه یا زیر دامنه کاربرد دارد (مانند domain.com یا example.domain.com).
✅ نتیجه: با سفارشیسازی هوشمندانه robots.txt، میتوانید خزش هدفمندتر، ایندکس بهینهتر و در نهایت رتبههای پایدارتر در گوگل به دست آورید.
فایل robots.txt وردپرس دقیقاً کجاست؟
بهطور پیشفرض، وردپرس یک robots.txt مجازی تولید میکند که با رفتن به مسیر /robots.txt در سایت قابل مشاهده است؛ مثل:
Default
1
https://yoursite.com/robots.txt
این فایل پیشفرض فقط در حافظه وجود دارد و روی سرور ذخیره نمیشود. اگر بخواهید نسخهٔ سفارشی داشته باشید، یک فایل robots.txt را در پوشهٔ ریشهٔ نصب وردپرس آپلود کنید.
روشهای ایجاد/ویرایش:
از طریق FTP/SFTP یا File Manager هاست.
با افزونه (مثلاً Yoast SEO Tools File Editor) ویرایشگر robots.txt را در پیشخوان در اختیار میگیرید.
نکته: این راهنما برای نصبهای وردپرس روی دایرکتوری ریشهٔ دامنه یا زیر دامنه (مانند domain.com یا example.domain.com) کاربرد دارد.
robots.txt پیشفرض وردپرس (و چرا کافی نیست)
Default
1
2
3
User-agent:*
Disallow:/wp-admin/
Allow:/wp-admin/admin-ajax.php
این تنظیمات ایمن هستند اما بهینه نیستند؛ بهتر است متناسب با ساختار سایت، دستورالعملهای بیشتری اضافه کنید.
همیشه نقشهٔ سایت XML را اضافه کنید
تمام نقشههای XML را در robots.txt معرفی کنید تا کشف URLها برای موتورهای جستجو آسان شود.
Default
1
2
Sitemap:https://example.com/sitemap_index.xml
Sitemap:https://example.com/sitemap2.xml
چیزهایی که نباید مسدود کنید
در گذشته گاهی پیشنهاد میشد دایرکتوریهای زیر مسدود شوند، اما این کار را انجام ندهید:
Default
1
2
3
/wp-includes/
/wp-content/plugins/
/wp-content/uploads/
گوگل معمولاً فایلهای بیاهمیت را نادیده میگیرد.
مسدود کردن CSS/JS میتواند به مشکل رندر و ایندکس منجر شود.
ممکن است بهصورت ناخواسته تصاویر و ویدئوهای ارزشمند (بهویژه در /wp-content/uploads/) را مسدود کنید.
✅ توصیه: اجازه دهید خزندهها CSS، جاوااسکریپت و تصاویر ضروری را واکشی کنند تا صفحه بهدرستی رندر شود و از هدررفت بودجهٔ خزش جلوگیری گردد.
مدیریت سایتهای استیجینگ (Staging Sites)
بهدلایل سئو و امنیت، بهتر است مطمئن شوید محیطهای استیجینگ توسط موتورهای جستجو ایندکس نمیشوند. توصیهٔ عملی: کل سایت استیجینگ را با Disallow مسدود کنید و همزمان از noindex استفاده کنید تا یک لایهٔ اضافی ایمنی داشته باشید.
جلوگیری از ایندکس استیجینگ در وردپرس
در مسیر Settings Reading گزینهٔ Discourage search engines from indexing this site را فعال کنید.
این تنظیمات، خط زیر را در robots.txt قرار میدهد (یا خودتان اضافه کنید):
Default
1
2
User-agent:*
Disallow:/
تکمیل لایهٔ ایمنی (پیشنهادی):
افزودن <meta name="robots" content="noindex, nofollow"> در قالب استیجینگ.
در صورت امکان، محافظت با رمز (Basic Auth) برای جلوگیری از دسترسی عمومی.
⚠️ توجه: اگر به صفحات استیجینگ از بیرون لینک داده شده باشد، گوگل ممکن است برخی URLها را همچنان کشف/ایندکس کند. پس از مهاجرت، اطمینان حاصل کنید تمام اتصالهای استیجینگ به سایت اصلی حذف شده باشند.
پس از انتقال به تولید (Production): حتماً دوباره robots.txt و تنظیمات noindex/Disallow را بررسی کنید تا بهصورت ناخواسته روی محیط اصلی باقی نمانده باشند.
پاکسازی مسیرهای غیرضروری در هسته وردپرس
همهٔ مسیرها نباید مسدود شوند، اما بسیاری از مسیرهای پیشفرض وردپرس ارزش سئویی ندارند. میتوانید آنها را در robots.txt بلاک کنید:
Default
1
2
3
4
5
Disallow:/trackback/
Disallow:/comments/feed/
Disallow:*/embed/
Disallow:/cgi-bin/
Disallow:/wp-login.php
این کار از خزش مسیرهای بیارزش جلوگیری میکند و تمرکز بودجهٔ خزش را روی صفحات اصلی نگه میدارد.
مسدود کردن پارامترهای خاص در URL
برای جلوگیری از خزش URLهای کمارزش (رهگیری، پاسخ به کامنتها، نسخهٔ پرینت و …) میتوانید الگوهای پارامتر را مسدود کنید:
Default
1
2
3
User-agent:*
Disallow:/*?*replytocom=
Disallow:/*?*print=
مدیریت پارامترها در Search Console:
با ابزار URL Parameters الگوهای تولید URL را رصد کنید تا در صورت نیاز، پارامترهای بیشتری را به لیست Disallow اضافه کنید.
مسدود کردن تاکسونومیها و صفحات SERP کمارزش
اگر آرشیو تگها یا صفحات جستجوی داخلی شما ارزش افزودهای ندارند، میتوانید آنها را در robots.txt محدود کنید:
Default
1
2
3
4
User-agent:*
Disallow:/tag/
Disallow:/page/
Disallow:/?s=
⚠️ با توجه به استراتژی محتوا تصمیم بگیرید: اگر تاکسونومیها (مثلاً تگها) را بهعنوان صفحات هدفمند و ایندکسشونده میسازید، نیازی به مسدود کردنشان نیست.
🔎 هشدار درباره /page/: این الگو معمولاً برای صفحات صفحهبندی آرشیوها است. مسدود کردن آن میتواند کشفِ مطالب قدیمیتر را دشوارتر کند. اگر به صفحهبندی برای کشف محتوا متکی هستید، از این خط صرفنظر کنید یا مطمئن شوید نقشههای سایت همهٔ پستها را پوشش میدهند.
✅ لینکسازی داخلی را هماهنگ کنید: لینکدهی به بخشهای مسدودشده را به حداقل برسانید تا بودجهٔ خزش روی صفحات ارزشمند متمرکز بماند.
پایش آمار خزش (Crawl Stats)
در Google Search Console Settings Crawl Stats بررسی کنید که رباتها منابع را بیهوده مصرف نکنند.
با URL Inspection مطمئن شوید URLهای مسدودشده ایندکس نشده باشند.
در بخش Sitemaps فقط URLهایی را ارسال کنید که میخواهید ایندکس شوند.
ابزارهای مدیریت سرور مانند Plesk، cPanel و Cloudflare نیز گزارشهای خزشِ دقیقتری ارائه میدهند.
💡 ترفند حرفهای: در Screaming Frog با قابلیت Configuration Override تغییرات robots.txt را شبیهسازی کنید. برخی افزونهها مانند Yoast SEO نیز تنظیمات پایهٔ بهینهسازی خزش را بهصورت خودکار مدیریت میکنند.
نتیجهگیری نهایی
وردپرس بهصورت پیشفرض robots.txt بهینه ندارد؛ با چند خط ساده میتوانید بودجهٔ خزش را مدیریت کنید.
در کمتر از ~۳۰ دقیقه قادر خواهید بود:
هزاران درخواست خزش غیرضروری را متوقف کنید،
منابع سرور را ذخیره کنید،
و از مشکلات مقیاسپذیری آینده پیشگیری کنید.
یادآوری: پس از هر تغییر در robots.txt، نتایج را در GSC پایش کنید و در صورت مشاهدهٔ افتِ کشفپذیری، تنظیمات را بازبینی نمایید.
سوالات متداول درباره فایل robots.txt در وردپرس و سئو
✅ فایل robots.txt در وردپرس کجا قرار دارد؟
در وردپرس، بهطور پیشفرض یک فایل مجازی robots.txt وجود دارد که سیستم مدیریت محتوا آن را تولید میکند.
آدرس آن معمولاً به شکل زیر است: https://yourdomain.com/robots.txt
برای ایجاد نسخه سفارشی میتوانید یک فایل واقعی در مسیر public_html هاست ایجاد کنید، یا از افزونههایی مثل Yoast SEO یا Rank Math استفاده نمایید.
✅ چگونه مشکل robots.txt را برطرف کنیم؟
اگر گوگل یا ابزارهای تحلیل سئو خطایی درباره فایل robots.txt نشان دهند، مراحل زیر را انجام دهید:
بررسی وجود فایل در ریشه دامنه (public_html)
اطمینان از درست بودن مسیرها (Disallow و Allow)
مطمئن شوید دستوری مانند Disallow: / که کل سایت را مسدود میکند، وجود نداشته باشد
بررسی تنظیمات افزونههای SEO
تست فایل در Google Search Console Robots.txt Tester
✅ فایل robots.txt را کجا پیدا کنم؟
دو حالت وجود دارد:
نمایش در مرورگر: آدرس سایت را با /robots.txt باز کنید. https://webangel.marketing/robots.txt
اگر فایل فیزیکی ساختهاید، آن را در هاست و پوشه ریشه (public_html) خواهید دید.
اگر وجود ندارد، وردپرس بهطور خودکار یک نسخه مجازی نمایش میدهد.
✅ آیا robots.txt برای سئو مفید است؟
بله، اگر بهدرستی استفاده شود بسیار مفید است:
جلوگیری از ایندکس شدن صفحات غیرضروری یا مدیریتی
بهینهسازی Crawl Budget و تمرکز گوگل روی صفحات مهم
⚠️ هشدار: اگر اشتباه پیکربندی شود، ممکن است صفحات مهم شما از نتایج جستجو حذف شوند!
✅ آیا robots.txt هنوز استفاده میشود؟
بله. این فایل همچنان یکی از اجزای مهم در سئو فنی است. گوگل و سایر موتورهای جستجو برای تشخیص مسیرهای مجاز دسترسی از آن استفاده میکنند.
البته توصیه میشود برای کنترل دقیقتر ایندکس صفحات از تگهای متا مانند <meta name="robots" content="noindex"> و تنظیمات Search Console نیز استفاده کنید.
✅ آیا robots.txt باید شامل Sitemap باشد؟
ضروری نیست، اما بسیار توصیه میشود ✅
قرار دادن آدرس نقشه سایت در فایل robots.txt باعث میشود رباتها ساختار سایت شما را سریعتر پیدا کنند:
Default
1
Sitemap:https://yourdomain.com/sitemap.xml
این کار سرعت ایندکس شدن صفحات جدید را افزایش میدهد و یک سیگنال مثبت سئو برای گوگل محسوب میشود.
نتیجه نهایی:
فایل robots.txt ابزاری ساده اما قدرتمند برای مدیریت دسترسی رباتها و بهینهسازی فرآیند ایندکس است. با پیکربندی صحیح آن، میتوانید Crawl Budget را بهینه کرده و به سئو سایت خود کمک کنید.
با آژانس دیجیتـال مارکتینگ وب آنجل، سرعت سایت خود را بهبود ببخشید
سرعت سایت، یکی از فاکتورهای مهم در رتبه بندی گوگل است. با تیم حرفهای وب آنجل میتوانید سرعت سایتتان را افزایش دهید و رتبه سایتتان را در نتایج گوگل بهبود ببخشید.
فوق دکترای مدیریت کسبوکار، اولین متخصص الگوریتمهای گوگل در ایران و کوچ حرفهای هستم که بیش از ۱۵ سال در حوزه مدیریت، مشاوره و دیجیتال مارکتینگ فعالیت داشتهام. در این مسیر با ارائه راهکارهای خلاقانه و اجرای پروژههای موفق در زمینه سئو و برندینگ، توانستهام مسیر رشد برندهای بزرگی مثل خبرگزاری صدا و سیما، افق کوروش و سایر سازمانهای مطرح را هموار کنم. تجربیاتم شامل مدیریت پروژههای پیچیده، طراحی استراتژیهای بازاریابی، بهینهسازی منابع مالی، توسعه تیمهای کارآمد و بهبود فرآیندهای کسبوکار است که توانایی مرا برای ایفای نقشهای کلیدی مدیریتی تقویت کردهاند. مدیریت وبسایت وبآنجل، بهعنوان مرجع دیجیتال مارکتینگ، بخشی از تعهد من به انتقال دانش و تجربه به جامعه حرفهای ایران است. هدف من کمک به کسبوکارها برای دستیابی به موفقیت پایدار از طریق ارائه راهکارهای استراتژیک، افزایش نرخ بازگشت سرمایه، بهبود جایگاه در نتایج گوگل و ایجاد ارزش افزوده ماندگار است. باور دارم هر چالش فرصتی برای رشد است و هر کسبوکار شایسته راهحلهایی منحصربهفرد و خلاقانه است.
