クローラーと同じです。検索エンジンはスパイダー(クローラー)と呼ばれるロボットを利用して、自動的にWebページを巡回して情報収集します。 「Web」はクモの巣という意味なので、スパイダー(クモ)と呼ばれています。