تله عنکبوتی یا (Spider trap) چیست؟

تله عنکبوتی
مقالات

تله عنکبوتی یا (Spider trap) چیست؟

آیا میدانید تله عنکبوتی یا Spider trap چیست؟ یا تابه‌حال با آن روبرو شده‌اید؟ این اصطلاح برای زمانی به کار می‌رود که یک خزنده یا ربات گوگل در یک حلقه بی‌نهایت گیر می‌کند که در آن مجبور است یک کار را به‌صورت دائمی و تکراری انجام دهد به‌نحوی‌که منابع آن را به‌شدت اشغال می‌کند.

به‌عنوان‌مثال ممکن است بعد از ورود یک ربات گوگل به صفحه، به‌صورت خودکار ۲۰ یو آر آل دیگر ساخته شود و با ورود به هرکدام، این موارد افزایش یابد؛ در چنین شرایطی میگوییم تله عنکبوتی رخ‌داده است و به دلیل تکراری بودن محتوای این صفحات، شما درگیر مشکلات سئو و گوگل پنالتی خواهید شد.

در این مقاله از سایت تدریس24 قصد داریم بگوییم تله عنکبوتی یا Spider trap چیست و تأثیر آن بر وب‌سایت را بگوییم.

 

Spider trap چیست؟

 

Spider trap تله عنکبوتی به حالتی گفته می شود که شما سیستمی را ایجاد می کنید که در آن بیشمار یو آر ال در سایت ایجاد می شود. به عنوان مثال پایشگرهای گوگل 20 یو آر ال جدید را در سایت شما مشاهده می کنند. سپس هر کدام از این یو آر ال ها موجب پیدا شدن 20 یو آر ال دیگر می شود. تا اینجا 20*20 یو آر ال یعنی 400 یو آر ال از یک محتوا پیدا شده است.

اگر پایشگرها توسط هر کدام از این یو آر ال ها 20 یو آر ال دیگر را بیابند، در موجموعه 8000 یو آر ال پایش می شود. همانطور که می بینید، این حالت به سرعت نیز افزایش پیدا می کند. اگر محتوای هر یکی از این یو آر ال ها مجزا بود، مطمئنا مشکلی ایجاد نمیشد، اما معمولا این طور نیست. بنابراین حجم زیاد و بی پایانی از محتوای تکراری ایجاد میشود.

این حالت که مانند تله ای برای پایشگرهای گوگل محسوب می شود، اصلا و ابدا برای سئو خوب نیست، چرا که هر بار ربات های گوگل وارد سایت شما می شوند، هر صفحه به عنوان یک دام محسوب می گردد و در واقع آنها محتوای واقعی را پایش نمی کنند.

در این شرایط محتوای با کیفیت و مستقل شما نیز ممکن است اصلا ایندکس نگردد، چرا که گوگل فرصتی برای این کار پیدا نمی کند. اکثر محتوای سایت تکراری تلقی شده و گوگل نوع نگرش خود به سایت شما را تغییر خواهد داد. این گونه است که spider trap بر روی سئو سایت تاثیر منفی می گذارد.

تله عنکبوتی

 

 

Spider trap چگونه به نظر می رسد؟

 

تله عنکبوتی تله ربات های جستجو به شکل های مختلفی می تواند بروز یابد. به عنوان مثال یک ابزار پیشنهاد کلمه کلیدی را در نظر بگیرید. شما با وارد یک کلمه با کلمات پیشنهادی دیگری رو به رو می شود که هر کدام لینک به دیگر کلمات پیشنهادی مشابه با خود دارند. با کلیک بر روی هر یک از کلمات پیشنهادی این روند تمامی نمی یابد و به راحتی ربات های گوگل را در دام می اندازد.

شاید شما تصور کنید که این حالت در دنیای واقعی وب ایجاد نمی شود، اما این گونه نیست. در بعضی از فروشگاه های اینترنتی که آدرس صفحات، مبتنی بر پارامترهای محصولات است نیز این حالت ممکن است ایجاد شود. با ورود به هر صفحه دارای پارامتر، پارامترهای قبلی و جدیدی در آن وجود دارند که می توانند در ادامه یک سلسله لینک های تمام نشدنی ایجاد کنند.

نمونه دیگری از این حالت، سایت هاییست که دارای صفحات متعلق به یک زمان مشخص هستند. اگر شما بتوانید در هر صفحه به صفحه روز قبل از آن دسترسی داشته باشید، این روند همینطور ادامه پیدا کرده و تا چندبن هزار سال نیز می تواند گسترش یابد. ربات های گوگل با پیدا کردن چنین صفحاتی نیز خود را در دام انداخته و روند پایش آنها تمامی نخواهد داشت.

 

چگونه یک تله عنکبوتی spider trap را شناسایی کنیم؟

 

تله عنکبوتی راحت ترین راه برای شناسایی این تله ها، بررسی فایل های Log وبسیات است. این فایل ها در هر خط شامل یک بازدید از سایت هستند. می توانید تصور کنید که در سایت های بسیار بزرگ این فایل ها چه قدر سریع بزرگ می شوند. در هنگام بررسی این فایل ها به بازدید های ربات های گوگل با نام Googlebot دقت کنید و مدل بازدید آن ها را نیز زیر نظر بگیرید.

 در اغلب مواقع آنها به صورت مسقیم وارد سایت شما می شوند و خیلی هم غیر معمول نیست اگر 20 تا 30 درصد بازدید های سایت از ربات های گوگل باشد. در حالت کلی مدل بازدیهای موتورهای جستجو را بررسی کنید و در صورتی که یک مدل غیر منطقی و تمام نشدنی از بازدیدهای جدید را مشاهده کردید، احتمالا برای گوگل دامی پهن کرده اید.

 

چگونه مشکل تله عنکبوتی spider trap را حل کنیم؟

 

تله عنکبوتی حل مشکل spider trap یک امر مبتکرانه محسوب میشود. در مثال اول spider trap، با جلوگیری از پایش آدرس های منوی پیشنهاد کلمات مشابه در فایل robots.txt، به راحتی این مشکل را حل می کنیم. در سایر موارد حل این مشکل به این راحتی نیست و چالش برانگیز تر می باشد. در مورد حالتی که با پارامترهای زیادی در یو آر ال ها مواجهیم، نیاز یه تفکر و تامل بیشتری درباره راه حل این مشکل داریم.

در حال کلی سه نوع راه حل برای این مشکل وجود دارد:

بلاک کردن قسمتی از یو آر ال ها در فایل robots.txt

اضافه کردن برچسب rel=nofollow و noindex,follow در بعضی از صفحات

جلوگیری از ایجاد آدرس های بی پایان

در حالتی که با ایجاد صفحات مربوط به روز قبل مواجه بودیم، می توانیم از یک تاریخ به قبل را که مطلبی در آنها وجود ندارد را در فایل robots.txt بلاک کنیم. در حالتی که پارامترها در یو آر ال این مشکل را ایجاد کرده اند، بلاک کردن پارامترها در کنسول گوگل می تواند راه چاره ای محسوب میشود، اما بهترین راه تغییر سیستم ایجاد یو آر الهاست. بهتر است در این گونه موارد از چک باکس به جای لینک های مستقیم استفاده کنیم.

در مجموع بستن این چرخه های بی پایان در spider trap تله عنکبوتی ، یکی از کارهای تحسین بر انگیز یک سئوکار می تواند باشد. این کار برای یک سئوکار، سرگرم کننده اما بسیار چالشی محسوب میشود. اگر مثال های دیگری از spider trap تله عنکبوتی را سراغ دارید، در بخش کامنت ها آن را بیان کنید.

دیدگاه خود را اینجا قرار دهید

نشانی ایمیل شما منتشر نخواهد شد.

اعضا

‫بروز رسانی

سمیرا مردانی's بروزسانی مشخصات انجام شد 1 سال قبل

محمد جواد محمدی's بروزسانی مشخصات انجام شد 1 سال قبل

مریم نوری's بروزسانی مشخصات انجام شد 1 سال قبل

محمد امین طاهری's بروزسانی مشخصات انجام شد 1 سال قبل

نگار حجتی's بروزسانی مشخصات انجام شد 1 سال قبل

فیلدهای نمایش داده شده را انتخاب کنید. دیگران مخفی خواهند شد. برای تنظیم مجدد سفارش ، بکشید و رها کنید.
  • عکس
  • شناسه محصول
  • امتیاز
  • قیمت
  • در انبار
  • موجودی
  • افزودن به سبد خرید
  • توضیحات
  • محتوا
  • عرض
  • اندازه
  • تنظیمات بیشتر
  • ویژگی ها
  • ویژگی های سفارشی
  • زمینه های دلخواه
برای پنهان کردن نوار مقایسه ، بیرون را کلیک کنید
مقایسه