Crawl
crawl در لغت به معنای “خزیدن” می باشد.
بررسی و جمع آوری اطلاعات کامل یک وب سایت اعم از مطالب و لینک های درون وب سایت را که توسط ربات هایی موتور های جستجو انجام می شود، crwal می گویند.
Crawler
بررسی و خواندن کلیه مطالب و محتوای یک سایت اولین اقدامی است که موتور های جستجو انجام می دهند. این مجموعه عملیات توسط نرم افزارهایی به نام خزشگر(Crawler) یا عنکبوت (spider)انجام می شود.
گوگل به کمک مجموعه عظیمی از کامپیوتر ها، بیلیون ها صفحه در وب را میخواند. و برنامه ای (رباتی) که این همه صفحه را فراخوانی میکند “گوگل بوت” نامیده میشود (همچنین با نام های اسپایدر یا ربات نیز شناخته می شود) ربات گوگل با براساس الگوریتم های که برنامه ریزی شده است مشخص میکند که چه سایتی فراخوانی شود، و این فراخوانی هرجند وقت یکبار صورت بگیرید، و چه تعداد از صفحات هر سایت فراخوانی شوند.
عملیات بررسی و فراخوانی که توسط ربات گوگل انجام می شود با لیستی از لینک ها شروع می شود که این لینک ها از فراخوانی صفحه قبلی بدست امده اند و یا توسط نقشه سایت توسط وبمستر ها تهیه شده است.
گوگل صریحتا اعلام کرده که بررسی سایت ها و نتایج جستجویی که نشان میدهد را از مبحث درآمد زایی خودش که از طریق Adwords انجام میشود کاملا مجزا کرده است و این عملیات crwal سایت ها کاملا رایگان توسط گوگل انجام می شود و این امکان وجود ندارد که با پرداخت پول درخواست دهیم که سایت ما بهتر و زودتر توسط ربات گوگل بررسی شود.
یکی از مهمترین عواملی که در سئو و بهینه سازی سایت ها باید به آن توجه نمود طریقه ی شاخص گذاری (Indexing) موتورهای جستجو می باشد.
موتورهای جستجوی پیشتاز همچون Yahoo!، Google و Bing از خزنده‌ها (Spiders) جهت یافتن صفحات برای نتایج جستجوی الگوریتمیک استفاده می‌کنند. صفحاتی که از داخل باقی صفحات ایندکس شده، توسط موتورهای جستجو Link شده‌اند و نیاز به ارسال، به موتور جستجو نداشته و بصورت خودکار پیدا می‌شوند. بعضی از موتورهای جستجو از جمله !Yahoo سرویس پولی ارسال را راه اندازی کرده اند که استفاده از خزنده‌ها را هم بصورت مجموعه‌ای از قیمت‌ها و نیز بصورت سیستم بها به ازاء هر Click، اجرا میکند. این برنامه‌ها معمولاً قرارگیری در بانک اطلاعاتی موتور جستجو را ضمانت کرده و در قبال رتبه‌ای مشخص برای صفحه در لیست نتایج جستجو ضمانتی نمی‌کنند.
دو فهرست اصلی اینترنتی یعنی Yahoo Directory و Open Directory Project، هردو نیاز به ارسال دستی و بررسی انسانی دارند. Google ابزاری به نام Google Webmaster Tools ارائه میدهد که در آن می‌توان نقشه سایت را توسط خوراک XML ایجاد کرده و بصورت رایگان ارسال نمود تا از یافته شدن تمام صفحات حتی صفحاتی که بصورت خودکار از طریق دنبال کردن Link ها پیدا نمی‌شوند، اطمینان حاصل نمود. خزنده‌های موتور جستجو می‌توانند به عوامل مختلفی در هنگام خزیدن در یک سایت توجه کنند. نکته مورد نظر این است که تمامی صفحات سایت ایندکس نمی‌شوند. همچنین فاصله یک صفحه از ریشه سایت می‌تواند عاملی در پیدا شدن یا عدم آن توسط خزنده‌های موتورهای جستجو باشد.
