چرا crawl budget  برای سئو مهم است؟

بودجه خزش به صورت خلاصه: اگر گوگل نتواند صفحه ای را ایندکس کند، نمی تواند به آن صفحه رتبه ای نیز دهد. حال اگر تعداد صفحات شما از بودجه خزش شما بیشتر باشد، تعدادی از صفحات شما ایندکس نخواهند شد.

طبق گفته بالا، نباید نگران crawl budget باشید، چرا که گوگل یکی از بهترین موتورهای جستجو برای پیدا کردن و ایندکس کردن صفحات یک سایت می باشد.

گفته می شود، مواردی وجود دارد که به هنگام کرال باجت باید به آن توجه داشت:

اداره کردن یک سایت بزرگ: اگر شما دارای یک سایت بزرگ با +۱۰K هستید مانند سایت های ecommerce، ممکن است گوگل، در پیدا کردن تمامی صفحات دچار مشکل شود.

اضافه کردن دسته ای از صفحات: اگر اخیرا بخش جدیدی به سایت خود اضافه کرده اید که دارای تعداد زیادی صفحه است، قطعا شما میخواهید بدانید  که آیا این صفحات ایندکس شده اند یا خیر.

داشتن تعداد زیادی ریدایرکت: داشتن ریدایرکت زیاد، باعث از دست رفتن crawl budget می شود.

در ادامه مطالب، مواردی که برای بهینه سازی بودجه کرال و افزایش رنک سایت باید به آن توجه داشت را بیان خواهیم نمود.

معرفی فاکتورهای مهم crawl budget

 Gary Illyes بودجه خزش در مقاله what crawl budget means for googlebot، اعلام کرده است که فرآیند پیچیدگی خزیدن، به ربات های گوگل نیاز دارد که بتواند لیستی از آدرس هایی که تمایل به دیدن دارد، ایجاد کند. با این روش، لیستی از آدرس ها در صف انتظار قرار می گیرند که به هیچ عنوان، این لیست ها تصادفی نیستند. حال، به کل این فرایند  (زمانبندی) یاscheduling گفته می شود که طبق اولویت URLs، گوگل از یک مکانیسم پیچیده ای به نام Crawl demand ( تقاضای خزیدن) استفاده می کند و حتی برای افزایش سرعت سایت هم از مکانیسم دیگری به نام crawl rate limit که در ادامه آن را توضیح می دهیم، استفاده می نماید.

تقاضای خزیدن یا Crawl Demand

بودجه خزش این فاکتور بیانگر این موضوع است که چه تعداد صفحه در طول یک بار خزیدن، باید دیده شود. اگر ربات گوگل به URL  خاصی اهمیت بدهد، آن آدرس در جدول زمانی، جایگاه بالاتری خواهد داشت. طبق گوگل، اهمیت ارزیابی URL ها به موارد زیر بستگی دارد:

محبوبیت: اغلب آدرس هایی که در طول اینترنت به اشتراک گذاشته می شوند و یا به آن ها لینک داده می شود، از نظر گوگل دارای اهمیت بوده و شانس crawl کردن آن ها توسط ربات های گوگل، بیشتر خواهد شد. همانطور که متوجه شدید، محبوبیت (popularity) ارتباط بسیار نزدیکی به اعتبار یک صفحه (authority of page) و رتبه صفحه (page rank) نیز دارد.

ثبات: به صورت کلی، محتواهایی که تازه نوشته شده اند، نسبت به محتواهایی که یکسال قبل نوشته شده اند، از اولویت بالاتری برخوردار هستند.

موارد ذکر شده، دارای مفاهیم گسترده و عظیمی در سئو دارد. از نظر گوگل، محتواهای محبوب و محتواهای تازه (fresh) دارای crawl demand بالاتری نسبت به دیگر محتواها دارند.

تعریفی که گوگل از crawl budget ارائه می کند این است که” برای اینکه نرخ خزش و crawl demand را با هم داشته باشید، باید تعداد URL هایی که گوگل بات آن ها را crawl می کند را در نظر بگیرید. “

محدودیت نرخ خزش یا Crawl rate limit

Crawl rate limit بودجه خزش ، به گونه ای معرفی شده است که گوگل نباید تعداد زیادی از صفحات یک وب سایت را خزش کند، چرا که این امر باعث خسته شدن سرور نیز می شود. محدود کردن نرخ خزش، به گوگل اجازه نمی دهد که درخواست های زیادی به سمت سایت ارسال کند، چرا که این عمل باعث کندتر شدن سرعت سایت میشود.

Crawl rate limit، طبق موارد زیر امکان افزایش و یا کاهش را دارد:

بودجه خزش سرعت سایت: اگر سرعت سایت کاهش یابد یا زمان درخواست سرور کم شود، حد نرخ خزش نیزکاهش می یابد و googlebot فقط می تواند تعداد کمی از صفحات را خزش نماید. حال اگر درخواست های ارسالی به سایت افزایش یابد، مطمئنا crawl rate limit  هم افزایش پیدا خواهد کرد.

شما می توانید حد crawl rate را در سرچ کنسول، تنظیم کنید. اما بدانید که افزایش حد نرخ، ضمانتی برای افزایش نرخ خزش نیست.

به صورت کلی، google نمیخواهد سایت را به خاطر خزش های زیاد، سربار نماید و علت استفاده از crawl rate limit هم به منظور کاهش ارسال درخواست ها می باشد. حال اگر استفاده از سایت کاهش یابد، این مورد به googlebot انتقال داده شده و به تعداد خزش ها افزوده می شود.

برای بهینه سازی بودجه خزیدن، معمولا از ۲ عامل استفاده می شود: اولین، افزایش بودجه کلی خزش در دسترس و دومین، استفاده از بودجه خزش موجود با روشی کارآمد تر.

در ادامه، استراتژی های مربوط به این دوعامل را شرح می دهیم:

[irp posts=”3154″ name=”راهکارهای سئو و بهترین تکنیک های سئو در سال 2019″]

چطور crawl budget را افزایش دهیم؟

بودجه خزش بهبود  زمان درخواست سرور و سرعت صفحه:  اگر سرور به سرعت به درخواست های صفحه پاسخ دهد، ربات گوگل می تواند از چندین اتصال به صورت همزمان  جهت خزیدن، استفاده نماید. حال، این عمل باعث افزایش نرخ خزش و همچنین بودجه کلی available crawl خواهد بود.

سرعت صفحات سایت یکی از مهمترین فاکتورهای رتبه بندی به حساب می آید که با بهینه سازی سایت میتوان به آن دست یافت. یکی از مهمترین کارها برای بهینه سازی بودجه خزش، کاهش دادن تعداد درخواست های HTTP  به سرور، جهت لود کردن صفحه می باشد. این عمل شامل درخواست هایی برای منابع فایل ها مانند CSS یا Javascript خواهد بود.

کاهش خطاهای سرور: اطمینان حاصل نمایید که زیرساخت های فنی سایت بدون هیچ خطایی بوده  که گوگل هم بتواند تمامی URL های یک سایت را بازیابی نماید. همچنین اطمینان پیدا کنید که  همه صفحات دارای کد ۲۰۰ یا ریدایرکت ۳۰۱ باشند.

افزایش crawl demand: برای بازدید گوگل از سایت خود، حتما به طراحی سایت و جذاب بودن آن توجه داشته باشید. البته برای جذاب بودن می توانید به ساخت بک لینک بپردازید. سیگنالی که از بک لینک ها به گوگل ارسال می شود، بیانگر داشتن محتوای خوب و پیشنهاد دادن به دیگر سایت ها میباشد. با وجودی که گوگل، چنین محتواهایی را در فهرست خود به روز نگاه می دارد، ربات های گوگل هم به خاطر تعداد زیادی backlink، مدام به چنین صفحاتی سر می زنند.

بودجه خزش راه دیگری که برای افزایش crawl demand وجود دارد، افزایش درگیر بودن کاربر با محتوا بوده است که کاربران مدت زمان بیشتری را در سایت به خصوص در آن صفحه بگذرانند. همچنین با افزایش اشتراک گذاری در صفحات اجتماعی می توانید، ارزش محتوای خود را به دیگران انتقال دهید. برای افزایش بازدید گوگل از سایت، می توانید از محتواهای تازه نوشته شده در سایت خود استفاده نمایید.