Mesin pencari perlu menjelajahi halaman website untuk menemukan dan memahami informasi yang tersedia. Namun, website dengan jumlah halaman yang sangat banyak membutuhkan pengelolaan crawling yang lebih terarah. Mesin pencari perlu menentukan halaman mana yang perlu mereka kunjungi dan seberapa sering mereka perlu melakukan crawling. Konsep tersebut berkaitan dengan…