یکی از مهمترین عواملی که در سئو و بهینه سازی سایت ها باید به آن توجه نمود طریقه ی شاخص گذاری (Indexing) موتورهای جستجو می باشد.
موتورهای جستجوی پیشتاز همچون Yahoo!، Google و Bing از خزنده‌ها (Spiders) جهت یافتن صفحات برای نتایج جستجوی الگوریتمیک استفاده می‌کنند. صفحاتی که از داخل باقی صفحات ایندکس شده، توسط موتورهای جستجو Link شده‌اند و نیاز به ارسال، به موتور جستجو نداشته و بصورت خودکار پیدا می‌شوند. بعضی از موتورهای جستجو از جمله !Yahoo سرویس پولی ارسال را راه اندازی کرده اند که استفاده از خزنده‌ها را هم بصورت مجموعه‌ای از قیمت‌ها و نیز بصورت سیستم بها به ازاء هر Click، اجرا می‌کند. این برنامه‌ها معمولاً قرارگیری در بانک اطلاعاتی موتور جستجو را ضمانت کرده و در قبال رتبه‌ای مشخص برای صفحه در لیست نتایج جستجو ضمانتی نمی‌کنند.
دو فهرست اصلی اینترنتی یعنی Yahoo Directory و Open Directory Project، هردو نیاز به ارسال دستی و بررسی انسانی دارند. Google ابزاری به نام Google Webmaster Tools ارائه می‌دهد که در آن می‌توان نقشه سایت را توسط خوراک XML ایجاد کرده و بصورت رایگان ارسال نمود تا از یافته شدن تمام صفحات حتی صفحاتی که بصورت خودکار از طریق دنبال کردن Link ها پیدا نمی‌شوند، اطمینان حاصل نمود. خزنده‌های موتور جستجو می‌توانند به عوامل مختلفی در هنگام خزیدن در یک سایت توجه کنند. نکته مورد نظر این است که تمامی صفحات سایت ایندکس نمی‌شوند. همچنین فاصله یک صفحه از ریشه سایت می‌تواند عاملی در پیدا شدن یا عدم آن توسط خزنده‌های موتورهای جستجو باشد.
