Google crawl rate atau tingkat perayapan Google merupakan hal penting dalam sistem pengindeks kan website kita. karena dari situlah halaman2 di web kita akan muncul di mesin pencarian kita. Google crawl rate pada dasarnya adalah waktu yang digunakan oleh Googlebot untuk menjelajahi situs.
Google memiliki algoritma / sistem koding canggih yang menentukan berapa banyak halaman yang di telusuri mesin robotnya/googlebot pada setiap situs. Tujuannya adalah untuk merayapi/mengunjungi sebanyak mungkin halaman dari situs Anda. seperti yang kita dapat pada setiap kunjungan halaman tanpa harus memberatkan bandwidth server Anda.
Tetapi ada kalanya google bot dapat memberatkan server hosting anda. sehingga terkadang bisa membuat hosting anda dibatasi atau disuspend oleh penyedia host.
Tetapi jangan takut selain bisa anda siasati dengan robots.txt pada root public_html domain anda, Anda juga dapat mengubah tingkat perayapan untuk situs yang berada pada tingkat akar-misalnya, www.situsanda.com dan http://subdomain.situsanda.com. Anda tidak dapat mengubah tingkat perayapan untuk situs yang tidak pada level root-misalnya, www.example.com/folder.
Catatan: Tingkat perayapan mengacu pada kecepatan permintaan Googlebot selama proses perayapan. Hal ini tidak memiliki efek pada seberapa sering google menjelajahi atau seberapa dalam google merayapi struktur URL Anda.
Untuk mengubah tingkat perayapan/google crawl rate:
1. masuklah ke Google Webmaster Tools Homepage
https://www.google.com/webmasters/tools
2. pada dashboard klik situs yang Anda inginkan.
3. Dalam Site configuration, klik Pengaturan (setting).
4. Pada bagian crawl rate, pilih opsi yang Anda inginkan.
Tingkat perayapan baru akan berlaku untuk 90 hari.
Baca juga cara membuat robots.txt