آموزش رفع مشکل بودجه خزش در وردپرس
آموزش رفع مشکل بودجه خزش در وردپرس
سلام به همراهان همیشگی وبسایت آکادمی ساسان درویش پور 😘😍
خزنده های وب (که عنکبوت ها یا ربات ها نیز نامیده می شوند) برنامه هایی هستند که از صفحات وب بازدید می کنند (یا “خزیدن” انجام می دهند.)
و موتورهای جستجو از خزنده‌ها برای کشف محتوایی استفاده می‌کنند که سپس بتوانند آن را فهرست‌بندی کنند ( به این معنی که در پایگاه داده‌های عظیم خود ذخیره کنند. )
این برنامه ها با دنبال کردن لینک های سایت شما محتوای شما را کشف می کنند.
اما این فرآیند همیشه به دلیل خطاهای بودجه خزش به آرامی پیش نمی رود.
قبل از اینکه به این خطاها و نحوه رسیدگی به آنها بپردازیم، اجازه دهید با اصول اولیه شروع کنیم.
خطاهای Crawl ( بودجه خزش ) چیست؟
خطاهای بودحه خزش زمانی رخ می‌دهد که خزنده‌های موتور جستجو نمی‌توانند در صفحات وب شما به روشی که معمولاً حرکت می‌کنند، حرکت کنند. انجام دهید (در زیر نشان داده شده است).
بودجه خزش
هنگامی که این اتفاق می افتد ، موتورهای جستجو مانند گوگل نمی توانند به طور کامل محتوا یا ساختار وب سایت شما را کشف و درک کنند.
این یک مشکل است زیرا خطاهای بودجه خزش می تواند از کشف صفحات شما جلوگیری کند.
این بدان معناست که آنها نمی توانند ایندکس شوند ، در نتایج جستجو ظاهر شوند یا ترافیک ارگانیک (بدون پرداخت) را به سایت شما هدایت کنند.
گوگل خطاهای بودجه خزش را به دو دسته تقسیم می کند:
1. خطاهای سایت
2.خطاهای URL
بیایید هر دو را بررسی کنیم.
خطاهای سایت
خطاهای سایت نوع اول خطای بودجه خزش هستند که می توانند کل وبسایت شما را تحت تأثیر قرار دهند.
خطاهای سرور، DNS و robots.txt رایج ترین هستند.
خطاهای سرور
خطاهای سرور ( کد وضعیت HTTP را برمی گرداند) زمانی رخ می دهد که سرور از بارگیری صفحه جلوگیری می کند.
در اینجا رایج ترین خطاهای سرور آورده شده است:
- خطای سرور داخلی (500): سرور نمی‌تواند درخواست را تکمیل کند. اما زمانی که خطاهای خاص تری در دسترس نباشند نیز می تواند فعال شود.
- خطای دروازه بد (502): یک سرور به عنوان دروازه عمل می کند و یک پاسخ نامعتبر از سرور دیگر دریافت می کند
- خطای سرویس در دسترس نیست (503): سرور در حال حاضر در دسترس نیست، معمولاً زمانی که سرور در حال تعمیر یا به‌روزرسانی است
- خطای مهلت زمانی دروازه (504): یک سرور به عنوان دروازه عمل می کند و به موقع پاسخی از سرور دیگر دریافت نمی کند. مانند زمانی که ترافیک زیادی در وب سایت وجود دارد.
هنگامی که موتورهای جستجو دائما با خطاهای 5xx ( همان خطای سرور ) مواجه می شوند، می توانند سرعت خزیدن وبسایت را کاهش دهند.
این بدان معناست که موتورهای جستجو مانند گوگل ممکن است نتوانند تمام محتوای شما را کشف و فهرست کنند.
خطاهای DNS
خطای سیستم نام دامنه (DNS) زمانی است که موتورهای جستجو نمی توانند با دامنه شما ارتباط برقرار کنند.
همه وبسایت‌ها و دستگاه‌ها حداقل یک آدرس پروتکل اینترنتی (IP) دارند که به طور منحصربه‌فرد آنها را در وب شناسایی می‌کند.
DNS با تطبیق نام دامنه با آدرس IP آنها، برقراری ازتباط افراد و رایانه ها با یکدیگر را آسان تر می کند.
بدون DNS، به‌جای تایپ آدرس اینترنتی وبسایت ، آدرس IP وبسایت را به صورت دستی وارد می‌کنیم.
بنابراین، به جای وارد کردن “www.exam.com” در نوار URL خود، باید از آدرس IP ما استفاده کنید: “34.120.45.191.”
خطاهای DNS کمتر از خطاهای سرور است.
اما در اینجا مواردی وجود دارد که ممکن است با آنها روبرو شوید:
✅ درنگ DNS: سرور DNS شما به موقع به درخواست موتور جستجو پاسخ نداد
✅ جستجوی DNS: موتور جستجو نتوانست به وب سایت شما دسترسی پیدا کند زیرا سرور DNS شما نتوانست نام دامنه شما را پیدا کند
خطاهای Robots.txt
خطاهای Robots.txt در بودجه خزش زمانی رخ می دهد که موتورهای جستجو نتوانند فایل robots.txt شما را بازیابی کنند.
فایل robots.txt شما به موتورهای جستجو می گوید که کدام صفحات را می توانند بخزند و کدام را نمی توانند.
در اینجا یک نمونه فایل robots.txt برای شما اورده ایم.
User-agent: 008
/ :Disallow
User-agent: SiteAuditBot
Crawl-delay: 1
/ :Allow
User-agent: Semrushbot-SI
/ :Allow
User-agent: Yahoo Pipes 2.0
/ :Disallow
User-agent: Facebot
Disallow : ٫archive٫graphs.php
User-agent: Bingbot
Disallow: ٫archive٫graphs.php
User-agent: BingPreview
Disallow: ٫archive٫graphs.php
نمونه Robots.txt
در اینجا سه بخش اصلی این فایل و کارهایی که هر کدام انجام می دهند آورده شده است:
1️⃣ کاربر-عامل: این خط خزنده را مشخص می‌کند. و “*” به این معنی است که قوانین برای همه ربات های موتور جستجو است.
2️⃣ عدم مجاز/مجاز: این خط به ربات‌های موتور جستجو می‌گوید که آیا باید وبسایت شما یا بخش‌های خاصی از وبسایت شما را بخزند.
3️⃣ نقشه سایت: این خط مکان نقشه سایت شما را نشان می دهد.
URL فهرست نقشه سایت خود (نقشه سایت اصلی که شامل تمام نقشه های سایت شما است) را به فایل robots.txt خود اضافه کنید.
برای کمک به خزنده ها، ساختار سایت شما را سریعتر کشف و درک کنند.
خطاهای URL
برخلاف خطاهای سایت ، خطاهای URL فقط بر خزیدن صفحات خاصی در سایت شما تأثیر می گذارد.
در اینجا مروری بر انواع مختلف دارد:
404 خطا
خطای 404 به این معنی است که ربات موتور جستجو نتوانست URL را پیدا کند.
و یکی از رایج ترین خطاهای URL است.
زمانی اتفاق می افتد که:
- شما URL یک صفحه را بدون به‌روزرسانی پیوندهای قدیمی که به آن اشاره می‌کنند تغییر داده‌اید
- شما یک صفحه یا مقاله را از سایت خود بدون اضافه کردن تغییر مسیر حذف کرده اید
- شما پیوندهای خرابی دارید – به عنوان مثال، خطاهایی در URL وجود دارد
در اینجا یک صفحه اصلی 404 در سرور Nginx به نظر می رسد.
خطای 404
اما اکثر شرکت ها امروزه از صفحات سفارشی 404 استفاده می کنند.
این صفحات سفارشی تجربه کاربر را بهبود می بخشد.
و به شما این امکان را می دهد که با طراحی و برند وبسایت خود سازگار بمانید.
صفحه سفارشی 404
خطاهای Soft 404
خطاهای Soft 404 در بودجه خزش زمانی اتفاق می افتد که سرور یک کد 200 را برمی گرداند اما گوگل فکر می کند که باید یک خطای 404 باشد.
کد 200 یعنی همه چیز درست است. اگر مشکلی وجود نداشته باشد، کد پاسخ HTTP مورد انتظار است.
بنابراین، چه چیزی باعث خطاهای soft 404 می شود؟
✅ مشکل فایل جاوا اسکریپت: منبع جاوا اسکریپت مسدود شده است یا نمی توان آن را بارگیری کرد
✅ محتوای نازک: صفحه دارای محتوای ناکافی است که ارزش کافی برای کاربر ایجاد نمی کند. مانند یک صفحه نتیجه جستجوی داخلی خالی.
✅ محتوای کم کیفیت یا تکراری: این صفحه برای کاربران مفید نیست یا کپی از صفحه دیگر به عنوان مثال، صفحات مکان‌هایی که نباید زنده باشند مانند صفحاتی که حاوی محتوای «lorem ipsum» هستند.
یا محتوای تکراری که از URL های متعارف استفاده نمی کند ( که به موتورهای جستجو اطلاع می دهد که کدام صفحه اصلی است. )
✅ دلایل دیگر: فایل‌های موجود در سرور یا اتصال خراب به پایگاه داده شما
در اینجا چیزی است که در کنسول جستجوی گوگل (GSC) هنگامی که صفحاتی با آنها پیدا می کنید مشاهده می کنید.
خطای soft 404
403 خطاهای ممنوعه
خطای ممنوعه 403 به این معنی است که سرور درخواست یک خزنده را رد کرده است.
به این معنی که سرور درخواست را درک کرده است، اما خزنده قادر به دسترسی به URL نیست.
در اینجا یک خطای ممنوعه 403 در سرور Nginx به نظر می رسد.
خطای 403
مشکلات مربوط به مجوزهای سرور، دلایل اصلی خطای 403 است.
مجوزهای سرور حقوق کاربر و سرپرست را بر روی یک پوشه یا فایل تعریف می کند.
ما می توانیم مجوزها را به سه دسته تقسیم کنیم: خواندن، نوشتن و اجرا.
برای مثال، اگر مجوز خواندن را نداشته باشید، نمی‌توانید به URL دسترسی پیدا کنید.
یک فایل htaccess معیوب یکی دیگر از دلایل تکراری خطاهای 403 است.
فایل htaccess یک فایل پیکربندی است که در سرورهای آپاچی استفاده می شود.
برای پیکربندی تنظیمات و اجرای تغییر مسیرها مفید است.
اما هر گونه خطا در فایل htaccess شما می تواند منجر به مشکلاتی مانند خطای 403 شود.
حتما بخوانید : آموزش پیدا کردن فایل htaccess ✅ آپدیت 2024
تغییر مسیر حلقه ها
یک حلقه تغییر مسیر زمانی اتفاق می افتد که صفحه A به صفحه B و صفحه B به صفحه A تغییر مسیر دهد.
نتیجه؟
یک حلقه نامحدود از تغییر مسیرها که از دسترسی بازدیدکنندگان و خزنده ها به محتوای شما جلوگیری می کند. که می تواند مانع از رتبه بندی شما شود.
مسیر حلقه ها
چگونه خطاهای Crawl را پیدا کنیم
ممیزی سایت
ممیزی سایت Semrush به شما امکان می دهد مسائلی را که بر بوجه خزش سایت شما تأثیر می گذارد به راحتی کشف کنید.
و پیشنهاداتی در مورد نحوه رسیدگی به آنها ارائه می دهد.
ابزار را باز کنید، نام دامنه خود را وارد کنید و روی “Start Audit“ کلیک کنید.
Semrush
سپس، راهنمای پیکربندی حسابرسی سایت را برای تنظیم تنظیمات خود دنبال کنید. و روی“Start Audit“ (شروع حسابرسی سایت.) کلیک کنید.
حسابرسی سایت
شما به گزارش “Overview” (نمای کلی) هدایت خواهید شد.
روی ” View Detallis” (مشاهده جزئیات) در ماژول “Crawlability” (خزیدن) در بخش “Thematic Reports” (گزارش‌های موضوعی) کلیک کنید.
نمای کلی
حالا درک کلی از نحوه عملکرد خود از نظر خطاهای بودجه خزش به دست خواهید آورد.
نمایش خطاهای بودجه خزش
سپس، خطای خاصی را که می خواهید حل کنید انتخاب کنید.
و روی نوار مربوطه در کنار آن در ماژول “Crawl Budget Waste” کلیک کنید.
ما 4xx را برای مثال خود انتخاب کرده ایم.
در صفحه بعدی، روی “Why and how to fix it” (چرا و نحوه رفع آن) کلیک کنید.
نمایش متن خطا
با کلیک بر روی “Why and how to fix it” اطلاعات مورد نیاز برای درک موضوع را دریافت خواهید کرد.
همچنین میتوانید راهنمایی در مورد چگونگی حل آن به دست آورید.
سرچ کنسول گوگل ( search console )
سرچ کنسول گوگل نیز ابزاری عالی است که کمک ارزشمندی برای شناسایی خطاهای بودجه خزش ارائه می دهد.
به حساب GSC ( سرچ کنسول گوگل ) خود بروید و روی “تنظیمات” در نوار کناری سمت چپ کلیک کنید.
سپس، روی “ OPEN REPORT ” (باز کردن گزارش) در کنار “Crawl stats” (آمار بودجه خزیدن) کلیک کنید.
نمایش خطا در سرچ کنسول
به پایین بروید تا ببینید آیا گوگل متوجه مشکلات خزیدن در سایت شما شده است یا خیر.
روی هر مشکلی مانند خطاهای سرور 5xx کلیک کنید.
خطای 5xx
لیست کامل URL های مطابق با خطای انتخابی شما را مشاهده خواهید کرد.
حالا می توانید یکی یکی به آنها بپردازید.
چگونه خطاهای Crawl ( بودجه خزش ) را رفع کنیم
اکنون می دانیم که چگونه خطاهای خزیدن را شناسایی کنیم.
قدم بعدی درک بهتر نحوه رفع آنهاست.
رفع خطاهای 404
احتمالاً اغلب با خطاهای 404 مواجه خواهید شد. و خبر خوب این است که تعمیر آنها آسان است.
برای رفع خطاهای 404 می توانید از تغییر مسیرها استفاده کنید.
از تغییرمسیرهای 301 برای تغییر مسیرهای دائمی استفاده کنید زیرا به شما اجازه می دهد تا بخشی از اختیارات صفحه اصلی را حفظ کنید. و از 302 تغییر مسیر برای تغییر مسیرهای موقت استفاده کنید.
چگونه URL مقصد را برای تغییر مسیرهای خود انتخاب می کنید؟
در اینجا برخی از بهترین شیوه ها وجود دارد:
- اگر محتوا هنوز وجود دارد، یک تغییر مسیر به URL جدید اضافه کنید
- اگر محتوا دیگر وجود ندارد، یک تغییر مسیر را به صفحه ای اضافه کنید که به موضوعی مشابه یا بسیار مشابه می پردازد
سه راه اصلی برای استقرار تغییر مسیرها وجود دارد.
روش اول استفاده از افزونه است.
در اینجا تعدادی از محبوب ترین افزونه های تغییر مسیر برای وردپرس آورده شده است:
- افزونه Change the route
- Yoast SEO (فقط با طرح ممتاز موجود است)
- افزونه 301 Redirection
روش دوم این است که تغییر مسیرها را مستقیماً روی فایل پیکربندی سرور خود اضافه کنید.
مثالی برای تغییر مسیر در htacces
Redirect 301 https://www.yoursite.com/old-page/ https://www.yoursite.com/new-page/می توانید این خط را به چهار قسمت تقسیم کنید:
- Redirect: مشخص می کند که می خواهیم ترافیک را تغییر مسیر دهیم
- 301: کد تغییر مسیر را نشان می دهد و بیان می کند که یک تغییر مسیر دائمی است
- https://www.yoursite.com/old-page/: نشانی اینترنتی جهت تغییر مسیر را مشخص می‌کند
- https://www.yoursite.com/new-page/: نشانی اینترنتی جهت تغییر مسیر را مشخص می‌کند
در نهایت و در روش سوم ، اگر از افزونه های Wix یا Shopify استفاده می کنید، می توانید مستقیماً از پشتیبان تغییر مسیرها را اضافه کنید.
تعمیر لینک های شکسته
پیوند شکسته به صفحه یا منبعی اشاره می کند که وجود ندارد.
فرض کنید روی یک مقاله جدید کار می‌کنید و می‌خواهید یک پیوند داخلی به صفحه درباره خود در «yoursite.com/about» اضافه کنید.
هر گونه اشتباه تایپی در پیوند شما باعث ایجاد لینک های شکسته می شود.
بنابراین، اگر حرف «b» را فراموش کرده باشید و به جای «yoursite.com/about»، «yoursite.com/aout» را وارد کنید، با خطای لینک شکسته مواجه خواهید شد.
لینک های شکسته می توانند داخلی (اشاره به صفحه دیگری در سایت شما) یا خارجی (اشاره به وب سایت دیگری) باشند.
پس در لینک دهی صفحات دقت کنید همچنین ابزارهایی برای شناسایی پیوند های شکسته وجود دارد که میتوانید از آن ها استفاده کنید.
رفع خطاهای Robots.txt
همانطور که میدانید Robots.txt یک فایل پیکربندی مهم در سرور شما است.
شما با استفاده از ابزارهایی مثل سرچ کنسول گوگل و افزونه رنک مث به راحتی میتوانید خطاهای این فایل را شناسایی و رفع کنید.
نگران نباشی به زودی به این موارد خواهیم پرداخت..😉
در آخر…
برای اطمینان از موفقیت، خزیدن را نظارت کنید
برای اطمینان از اینکه سایت شما می تواند خزیده شود (و ایندکس و رتبه بندی شود) ، ابتدا باید آن را برای موتورهای جستجو مناسب کنید.
اگر اینطور نباشد ، ممکن است صفحات شما در نتایج جستجو نمایش داده نشوند.
بنابراین، شما هیچ ترافیک ارگانیکی را هدایت نخواهید کرد.
پیدا کردن و رفع مشکلات قابلیت خزیدن و نمایه‌سازی با ابزار حسابرسی سایت آسان است.
حتی میتوانید آن را طوری تنظیم کنید که به طور خودکار به صورت مکرر در سایت شما خزیده شود.
برای اطمینان از اینکه از هر گونه خطای خزیدن که باید برطرف شود آگاه خواهید بود.
امیدوارم این پست به خوبی توانسته باشد به سوالات شما پاسخ دهد و در رفع مشکل شما کمکی کرده باشد..
منتظر نظرات و پیشنهادات سازنده ی شما عزیزان هستیم.
بدرود 👋
دیدگاهتان را بنویسید