چرا موتورهای جستجو برای سایت‌ها نرخ کراول در نظر می‌گیرند؟

متاسفانه موتورهای جستجو، منابع نامحدودی ندارند و مجبورند توجه و تمرکز خود را بین میلیون‌ها وب‌سایت تقسیم‌‌‌ ‌کنند. بنابراین ‌‌‌آن‌ها به روشی نیاز دارند تا تا بتوانند میزان خزش را اولویت‌بندی کند. اختصاص بودجه خزش به هر ‌‌‌وب‌سایت،‌ به ‌‌‌موتورهای جستجو برای انجام این کار کمک‌‌‌ می‌کند.

بنابراین اگر تعداد صفحات شما از کراول باجت‌تان بیشتر باشد، قطعا در سایت خود صفحاتی خواهید داشت که ایندکس‌‌‌ و در نتیجه، دیده نمی‌شوند.

بنابراین، بودجه خزش بیشتر در سایت‌های بزرگ نقش دارد زیرا ربات‌های گوگل می‌توانند سایت‌های کوچک را به راحتی کراول کرده و صفحات‎شان را ایندکس کنند. در شرایط زیر باید به بودجه خزش توجه ویژه‌ای داشته باشید.

یک سایت خیلی بزرگ دارید: اگر ‌‌‌وب‌سایتی (مثلا یک سایت فروشگاهی) با بیش از ۱۰ هزار صفحه داشته باشید، ‌‌‌گوگل‌‌‌ ممکن است در پیدا کردن تمام این صفحات با مشکل مواجه شود.

یک دسته صفحه به سایت خود اضافه کرده‌اید: اگر اخیرا بخش جدیدی با صدها صفحه به سایت خود اضافه کرده‏اید،‌‌‌ باید کراول باجت کافی داشته باشید تا همه این صفحات به سرعت ایندکس شوند.

تعداد زیادی صفحات ریدایرکت شده دارید: ریدایرکت‌ها می‌توانند مثل خوره، بودجه خزش سایت شما را بخورند.

در ادامه این مقاله به روش‌هایی برای بهینه‌سازی نرخ کراول خواهیم پرداخت.

نظر گوگل در مورد بودجه خزش چیست؟

طبق گفته گوگل، سه مرحله اساسی وجود دارد که موتور جستجو برای به دست آوردن نتایج مناسب از صفحات وب، آن‌ها را دنبال می‌کنند:

کراول کردن: خزنده‌های وب به صفحات موجود در دسترس عموم، دسترسی دارند.

ایندکس کردن: خزنده‌ها، محتوای هر صفحه را تجزیه و تحلیل کرده و اطلاعاتی که پیدا می‌کنند را ذخیره خواهند کرد.

ارائه دادن و رتبه‌بندی: وقتی کاربر سوالی را تایپ می‌کند، گوگل مناسب‎ترین پاسخ‌ها را از صفحاتی که ایندکس کرده، به کاربر ارائه می‎دهد.

بدون کراول، محتوای شما ایندکس نخواهد شد، بنابراین در گوگل نمایش داده نمی‌شود.

گوگل معتقد است نرخ خزش موضوعی نیست که باعث نگرانی افراد شود. محتوای اغلب صفحات در اینترنت، به سرعت پس از انتشار، کراول و ایندکس می‌شوند. اگر تعداد صفحات سایت شما چند صد عدد باشد، کراول شدن کامل این صفحات اتفاقی کاملا بدیهی است. اینکه مشخص کنیم چه محتوایی در چه زمانی کراول شود، موضوعی است که برای سایت‌های با تعداد صفحات خیلی بالا دغدغه ایجاد می‎کند.

محدودیت خزش(Crawl Limit) در عمل چگونه کار می‌کند؟

محدودیت خزش همانطور که گفته شد یکی از مبانی اختصاص بودجه خزش است. الگوریتم‌های خزنده موتور جستجو، به گونه‌ای طراحی شده‌اند که از اضافه‌بار و سنگینی بیش از حد سرور میزبان سایت‌ها جلوگیری و تناسبی بین حجم درخواست‌ها برای خزش و توانایی‌های سایت برقرار کند. اما خود این مبنا، برآمده از برخی فاکتورهای دیگر است که رابطه مستقیمی با آن دارند.

نشانه‌هایی از ساختار ناهمگون پلتفرم

معمولاً چند بار آدرس‌های (URL) درخواست‌شده از سرور تایم‌اوت شده یا با خطا پاسخ داده شوند.

تعداد و حجم سایت‌هایی که بر روی هاست اجرا می‌شوند

اگر سایت شما بر روی یک هاست با مالکیت مشترک با صدها سایت دیگر اجرا شود و در عین حال حجم بالایی از محتوا را داشته باشد، می‌توان گفت سایت شما با محدودیت جدی بودجه خزش مواجه خواهد شد. فراموش نکنید ی که موتور جستجو به یک هاست اختصاص می‌دهد، حد ثابتی داشته و با در نظر داشتن این موضوع در عمل، در چنین شرایطی باید بودجه خود را با سایرین قسمت کنید!

در نظر داشته باشید که از نظر سئو، داشتن یک سایت دسکتاپ و موبایل جدا روی یک هاست نیز، همین نتیجه را در بر داشته و منجر به تقسیم شدن بودجه خزش بین دو سایت خواهد شد. پس این موضوع را به عنوان یک تصویر کلی و معیاری جامع در نظر داشته باشید.

نیاز خزش(Crawl Demand) در عمل چگونه کار می‌کند؟

نیاز خزش، با محوریت ارزشمندی آدرس URL شما معنا پیدا می‌کند. در این مورد نیز معیارهای وابسته متعددی به چشم می‌خورد که اغلب آن‌ها با وجود کالبد گوناگون، روح مشترکی دارند.

• محبوبیت

چند لینک ورودی از سایر سایت‌ها به سوی سایت شما روانه شده و میزان کوئری‌های سایت که منجر به تعیین رتبه آن در صفحه نتایج خواهد شد، چقدر است؟ این پرسش‌ها به درک میزان محبوبیت سایت کمک می‌کنند.

• تازگی و به‌روز بودن

در این مورد تشخیص کلیت موضوع چندان سخت و پیچیده نیست؛ باید پرسید محتواهای سایت شما در یک بازه زمانی خاص چند بار به طور مؤثر و معناداری به‌روز و آپدیت می‌شود.

• نوع صفحه

از خودتان بپرسید که به طور مثال یک صفحه کتگوری ارزش بیشتری برای بررسی تفتیش و خزش دارد یا یک صفحه حاوی محتواها و مفاهیم کاربردی در یک حیطه خاص؟ نوع صفحه در تعیین بودجه خزش(Crawl Budget) تأثیر مستقیمی دارد.

چه زمانی کراول باجت به یک مشکل تبدیل می‌شود؟

تصور کنید سایت شما صفحات زیادی دارد و گوگل هم زمان زیادی را در سایت شما می‌خزد و صفحات متعددی را بررسی می‌کند. در این زمان، شما از نظر crawl budget ( بودجه خزش )مشکلی نخواهید داشت. اما این موضوع، زمانی به یک مشکل جدی تبدیل می‌شود که شما 250000 صفحه دارید و گوگل روزانه تنها 2500 صفحه را کراول می‌کند. در این حالت اگر شما اقدامی انجام ندهید، تقریبا 200 روز طول می‌کشد تا Google متوجه تغییرات صفحات شما بشود.

حال از کجا بفهمیم گوگل چه بودجه‌ای به سایت ما اختصاص داده است؟ این کار بسیار ساده است و تنها باید مراحل زیر را دنبال کنید. (در این مثال، اینگونه در نظر می‌گیریم که سایت شما URL هایی دارد که سایت کروال می‌کند اما ایندکس نمی‌شوند؛ شاید چون متا تگ noindex اضافه کرده‌اید):

تعیین تعداد صفحات موجود در سایت؛ ویرایش تعداد URL های نقشه سایت XML می‌تواند شروع خوبی باشد.

• مراجعه به سرچ کنسول گوگل
• ورود به قسمت تنظیمات یا setting
• ورود به قسمت Crawl stats
• بررسی میانگین صفحات خزیده شده در روز
• تقسیم تعداد صفحات بر عدد میانگین خزیدن در روز

اگر عدد به دست آمده بالاتر از 10 بود بدین معناست که تعداد صفحات شما 10 برابر تعداد صفحات کراول شده توسط گوگل است. در نتیجه باید crawl budget را در نخستین فرصت بهینه کنید.