Robot indeksujący

Robot indeksujący, inaczej crawler (z ang. "crawl"- czołgać się), spider, robot lub bot, a także web wanderer, jest to program, który odwiedza każdą stronę internetową i zczytuje zawarte w niej informacje, aby zindeksować je następnie w wyszukiwarce.
W palecie jego zadań znajduje się dodawanie stron do wyszukiwarek, sprawdzanie kodu,
monitorowania aktualizacji, tworzenia mirrorów stron oraz zbierania informacji o witrynie.
Robot regularnie odwiedza strony (nieraz nawet kilka razy dziennie), żeby zaktualizować dane w wyszukiwarce.