Mengenal robots.txt pada blog wordpress

Robots.txt atau dikenal sebagai Robots Exclusion Protocol atau robots.txt protokol, adalah konvensi untuk mencegah bekerjasama web crawler dan robot web lain dalam mengakses semua atau bagian dari website yang dapat dilihat secara publik. Robot sering digunakan oleh mesin pencari untuk mengkategorikan dan mengarsipkan situs web, atau oleh webmaster untuk mengoreksi kode sumber. Standar ini berbeda, tetapi dapat digunakan bersama dengan, Peta Situs, dan inklusi robot standar untuk website. [sumber robots.txt ]

kesimpulan:

Robots.txt adalah sebuah file text yang berisi perintah-perintah yg menginstruksikan robot-robot search engine apakah suatu URL sebuah domain bisa dijelajahi dan di index atau tidak kedalam servernya.

Untuk membuat robots.txt sangatlah mudah.

Caranya buat file baru namanya robots.txt pada notepad.

isikan dengan kode ini:

# All Bots
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /wp-login.php
Disallow: /readme.html
Disallow: /license.txt
Disallow: /search/
Disallow: */trackback/
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*rurl=*
Allow: /sitemap.xml.gz$
Allow: /wp-content/uploads/

atau dengan format seperti ini:

User-agent: *
Allow: /

User-agent: *
Disallow: /search/
Disallow: /tag/
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php

Disallow diatas artinya URL/Directory pada domain tsb tidak boleh dijelajahi atau di index oleh search engine. Kalo Allow berarti diijinkan untuk di index.

Kemudin save file tersebut.

Lalu upload file robots.txt tersebut ke root direktory hosting domain anda public_html atau public_html/situsanda.com

Untuk mengecek keberhasilannya file bisa diakses di http://www.situsaanda.com/robots.txt

nah sebenarnya banyak kegunaan anda menambahkan kode robots.txt  tersebut pada hosting domain anda salah satunya adalah mengurangi server crash akibat intensitas tinggi traffic dari bot, menghindari suspend hosting dari provider, dan tentu saja mengurangi meningkatkan kualitas halaman blog anda di mata search engine, karena anda mengurangi penjelajahan index yang tidak perlu di web anda. Baca juga google crawl rate

Bahkan jika sangat perlu anda menambahkan kode berikut pada robots.txt

“Crawl-delay directive—>Several major crawlers support a Crawl-delay parameter, set to the number of seconds to wait between successive requests to the same server:”

User-agent: *
Crawl-delay: 10

 

Nah untuk pengguna wordpress anda bisa juga menggunakan plugin:

KB robots Txt

atau

iRobots.txt SEO

Plugin ini secara otomatis akan membuat sendiri file robots.txt  di root domain kita. Cara mengeceknya sama bisa via cpanel lihat di public-html  atau di www.situsaanda.com/robots.txt