موتور جستجو چطور کار می کند؟

موتور جستجو
مقالات نرم افزار های تحت وب

موتور جستجو چطور کار می کند؟

موتور جستجو ما به این مسئله پی برده‌ایم که، دلیل اصلی اینکه کسب و کار شما از بازاریابی دیجیتال بهره‌ای نمی‌برد این است که شما نمی‌دانید موتورهای جستجو چگونه کار می‌کنند. این موتورهای جستجو هستند که موفقیت وبسایت و کسب و کار اینترنتی شما را تضمین می‌کنند. اگر در صفحات نتایج رتبه بالایی ندارید و دیده نمی‌شوید، مسلما ترافیک وبسایت شما پایین است. و ترافیک پایین به معنی سود کمتر است.

با فهمیدن نحوه عملکرد موتورهای جستجو، قادر خواهید بود تا وبسایت خود را بهبود بخشیده و در فضای اینترنت خود را مطرح کنید. به یاد داشته باشید که اصل اول موفقیت در هر کسب و کاری، شناخت بستری است که در آن فعالیت می‌کنید. مقاله پیش رو از تدریس24 را برای شما عزیزان تدارک دیده تا بعد از خواندن آن، متوجه فرصت‌هایی شوید که برای پیشرفت کسب و کارتان بسیار اثربخش خواهند بود.

 

موتور جستجو چیست؟

 

قبل از اینکه به چگونگی عملکرد موتورهای جستجو بپردازیم، در وهله اول باید بدانیم که اصلا موتور جستجو چیست و چگونه بوجود آمده است. موتور جستجو اساسا هر برنامه کامپیوتری است که برای پیدا کردن اطلاعاتی مشخص در هر پلتفرمی استفاده می‌شود. از نوار جستجوی موجود در لیست مخاطبین تلفن همراهتان گرفته تا شبکه‌ای از کامپیوترهای بهم پیوسته به نام اینترنت. اما امروزه وقتی افراد درباره موتور‌های جستجو صحبت می‌کنند، معمولا اشاره به موتورهای جستجوی وب دارند.

موتورهای جستجو درحقیقت، ماشین‌های پاسخ‌دهی هستند. موتور جستجو یک سیستم نرم‌افزاری است که وظیفه اصلی آن پیدا کردن محتوا (اعم از محتوای متنی، صوتی، عکس، ویدئو و هر فایل دیگری) در شبکه جهانی وب (WWW) است؛ محتوایی که بیشترین مطابقت را با کوئری شما داشته باشد. (کوئری همان عبارتی است که کاربر جستجو می‌کند)

یک موتور جستجو از دو بخش اصلی تشکیل شده است: پایگاه داده اطلاعات و الگوریتم‌ها.

موتور جستجو

 

موتورهای جستجو چگونه بوجود آمدند؟

 

ایده فهرست کردن اطلاعات اولین بار در جولای سال 1945 در مقاله “ماهنامه آتلانتیک” نوشته Vannevar Bush با عنوان “همانطور که ممکن است فکر کنیم” مطرح شد. او در این مقاله بر اهمیت اطلاعات در آینده تاکید کرد و دانشمندان را به پیدا کردن راهی برای یکی کردن تمام اطلاعات ترغیب کرد.

در نهایت، یک دانشمند انگلیسی به نام Tim Berners Lee شبکه جهانی وب را در سال 1989 اختراع کرد که از تکنولوژی به نام (Hypertext Transfer Protocol (HTTP استفاده می‌کرد. علاوه بر این، اوکسی بود که تمامی ابزارهای لازم برای راه‌اندازی وب ازجمله زبان HTML و URL را خلق کرد.

یک سال بعد، اولین موتور جستجو به نام آرچی (Archie) بوجود آمد که اگرچه از نظر فنی اولین موتور جستجو نام گرفت، اما در حقیقت توانایی نمایش دادن محتوای وب را نداشت و فقط عناوین را فهرست می‌کرد. به همین خاطر، برای استفاده از آن نیاز بود تا کاربران نام دقیق فایل مورد نظر خود را بدانند.

دیتابیس آرچی در حقیقت فقط متشکل از نام فایل‌های قابل دانلودی بود که از سایت‌های FTP جمع‌آوری شده بودند. به دنبال موفقیت پروژه آرچی، دو موتور جستجوی مشابه به نام‌های ورونیکا (Veronica) و جاگ‌هد (Jughead) با هدف ایندکس کردن متن ساده بوجود آمدند.

در سال 1991، Tim Berners Lee موفق شد اولین وبسایت تاریخ را ایجاد کرده و در دسترس عموم قرار دهد. در این وبسایت توضیح داده شده بود که شبکه جهانی وب چیست، چگونه می‌توان یک سرور وب برپا کرد و چطور می‌شود یک مرورگر در اختیار داشت.

در سال 1993، اولین ربات (که ما آن را با نام عنکبوت نیز می‌شناسیم) به نام World Wide Web Wanderer ساخته شد. هدف از ایجاد این ربات، ارزیابی میزان رشد و پیشرفت وب بود. طولی نکشید که این ربات ارتقا پیدا کرد تا بتواند URLهای فعال را جمع‌آوری کرده و آن‌ها را در یک دیتابیس به نام وندکس (Wandex) نگهداری کند. اما رفته رفته ربات واندرر که قرار بود خود راه حل باشد، به مشکلی بزرگ تبدیل شد. واندرر، مرتبا سایت‌ها را مختل می‌کرد و دسترسی به آن‌ها را غیرممکن می‌ساخت.

 در این بین، موتور جستجویی به نام W3Catalog که می‌توان گفت اولین موتور جستجوی وب تاریخ است (همانطور که گفته شد، موتورهای جستجوی قبلی قابلیت نمایش محتوای وب را نداشتند)، در اواسط سال 1993 بوجود آمد. اگرچه W3Catalog سعی کرده بود تا علاوه بر استفاده از ربات‌ها، فهرستی باکیفیت از وبسایت‌های موجود داشته باشد، اما همچنان نتوانست مشکل اختلال ربات‌ها را حل کند.

 

کرالینگ موتور جستجو چیست؟

 

اولین قدم برای اینکه بفهمیم موتورهای جستجو چطور کار می‌کنند، مبحث کرالینگ است.

کرالینگ (Crawling)، فرآیندی است که توسط خزنده‌های وب موتور جستجو (ربات‌ها یا عنکبوت‌ها) برای بازدید و دانلود یک صفحه و استخراج لینک‌های آن به منظور ‌پیدا کردن سایر صفحات، استفاده می‌شود.

در واقع کرال کردن، اولین قدم ‌برای کشف صفحات موجود در وب است.

از آنجایی که یک رجیستری مرکزی برای همه صفحات وب وجود ندارد‌، ‌گوگل باید دائما صفحات جدید را جستجو و ‌آن‌ها را به لیست صفحات شناخته شده خود، اضافه کند. البته برخی از این صفحات شناخته شده‌اند زیرا ‌گوگل قبلا از ‌آن‌ها بازدید کرده است. وقتی ‌گوگل لینکی از یک صفحه شناخته شده به یک صفحه جدید را دنبال می‌کند‌، سایر صفحات ‌دیسکاور (کشف) می‌شوند.

وقتی مدیر وب‌سایت، لیستی از صفحات (نقشه سایت) را برای ‌کرال شدن توسط ‌گوگل ارسال می‌کند‌، سایر صفحات ‌دیسکاور می‌شوند. اگر از یک وب هاست مدیریت شده مانند وردپرس یا Blogger استفاده می‌کنید‌، ممکن است ‌آن‌ها به ‌گوگل بگویند که هر صفحه به روز شده یا جدیدی را که ایجاد می‌کنید، جستجو کند.

هنگامی که ‌گوگل یک URL صفحه را ‌دیسکاور می‌کند‌، از آن صفحه بازدید کرده یا عبور می‌کند، تا بفهمد چه چیزی در آن وجود دارد. ‌گوگل صفحه را ارائه می‌دهد و متن و محتوای غیرمتنی آن را تجزیه و تحلیل می‌کند تا تصمیم بگیرد که کجا باید این صفحه را در نتایج جستجو نشان بدهد. هرچه ‌گوگل بهتر بتواند سایت شما را درک کند‌، بهتر می‌تواند آن را به افرادی که به دنبال محتوای مرتبط با سایت شما هستند، نشان بدهد.

صفحات شناخته شده برای موتور جستجو به‌صورت دوره‌‌ای کرال می‌شوند تا مشخص شود آیا از آخرین باری که ربات‌ها از آن صفحه بازدید کرده‌اند‌، تغییری در محتوای آن ایجاد شده است یا خیر. اگر یک موتور جستجو پس از ‌کرال کردن یک صفحه‌، تغییرات آن را تشخیص دهد‌، این شاخص را در پاسخ به این تغییرات شناسایی شده، آپدیت می‌کند.

 

 کرالینک وب چطور کار می‌کند؟

 

موتورهای جستجو از خزنده وب خود برای ‌دیسکاور کردن و دسترسی به صفحات وب استفاده می‌کنند.

تمام کرالرهای موتور جستجو با بارگیری فایل robots.txt آن‌، که حاوی قوانینی درباره صفحات است که به موتورهای جستجو اجازه می‌دهند آن صفحات را کرال کنند. فایل robots.txt همچنین ممکن است حاوی اطلاعاتی در مورد نقشه سایت یا همان سایت‌مپ باشد. این فایل شامل لیستی از URL‌هایی است که یک وب‎سایت، می‌خواهد خزنده‌های موتور جستجو آن‌ها را کرال کنند.

خزنده‌های موتور جستجو از تعدادی الگوریتم و قانون برای تعیین تعداد دفعات بازدید مجدد یک صفحه و ایندکس شدن تعداد صفحات در یک سایت استفاده می‌کنند. به عنوان مثال‌، صفحه‌‌ای که به طور منظم تغییر می‌کند، ممکن است بیشتر از صفحه‌‌ای که بندرت آپیدت می‌شود‌، کرال شود.

دیدگاه خود را اینجا قرار دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

اعضا

‫بروز رسانی

سمیرا مردانی's بروزسانی مشخصات انجام شد 1 سال, ماه 2 قبل

محمد جواد محمدی's بروزسانی مشخصات انجام شد 1 سال, ماه 2 قبل

مریم نوری's بروزسانی مشخصات انجام شد 1 سال, ماه 2 قبل

محمد امین طاهری's بروزسانی مشخصات انجام شد 1 سال, ماه 2 قبل

نگار حجتی's بروزسانی مشخصات انجام شد 1 سال, ماه 2 قبل

فیلدهای نمایش داده شده را انتخاب کنید. دیگران مخفی خواهند شد. برای تنظیم مجدد سفارش ، بکشید و رها کنید.
  • عکس
  • شناسه محصول
  • امتیاز
  • قیمت
  • در انبار
  • موجودی
  • افزودن به سبد خرید
  • توضیحات
  • محتوا
  • عرض
  • اندازه
  • تنظیمات بیشتر
  • ویژگی ها
  • ویژگی های سفارشی
  • زمینه های دلخواه
برای پنهان کردن نوار مقایسه ، بیرون را کلیک کنید
مقایسه
مقایسه ×
Let's Compare! Continue shopping