Cara Mensetting Custom Robots.txt Blogspot Agar SEO

Cara Mensetting Custom Robots.txt Blogspot Agar SEO ~ Sebelum kita berbicara tentang robots.txt, yang perlu serta harus sobat tahu adalah tentang Protokol Robots Exclusion. Mungkin istilah ini jarang atau bahkan tumben sobat blogger dengar selama sobat blogger menekuni dunia website atau blog. Oleh karena itu, saya uraikan sedikit tentang Protokol Robots Exclusion. Baca juga mengenai Mengenal Fungsi Meta Tag NOODP dan NOYDIR.

Pemilik situs Web atau blog menggunakan file / robots.txt untuk memberikan instruksi tentang situs/blog mereka untuk robot web, inilah yang disebut Protokol Robots Exclusion . Protokol Robots Exclusion bekerja dengan cara seperti ini : Ketika sebuah robot akan mengunjungi URL dari sebuah blog, sebagai contoh http://ilmunyentrik.blogspot.com/. Sebelum melakukan kunjungan tersebut, Robots Exclusion Protocol akan memeriksa terlebih dahulu http://ilmunyentrik.blogspot.com/robots.txt, dan menemukan :

User-agent: *
Disallow: /

Kata "User-agent: *" artinya berlaku untuk semua robot dan kata "Disallow: /" memberi tahu robot untuk tidak mengunjungi beberapa halaman dari blog tersebut.

Ada dua pertimbangan penting yang harus kita pikirkan ketika menggunakan /robots.txt yaitu :

1. Robot bisa saja mengabaikan / robots.txt sobat blogger.

2. File / robots.txt adalah file yang tersedia untuk umum.

Berikut ini contoh robots.txt beserta fungsinya masing-masing :
Memberikan pengecualian semua robot dari seluruh server

User-agent: *
Disallow: /

Membiarkan semua robot untuk melakukan Akses di blog tersebut :

User-agent: *
Disallow:

Memberikan pengecualian terhadap semua robot dari bagian Server

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/

Memberikan pengecualian terhadap single robot

User-agent: BadBot
Disallow: /

Membiarkan single robot

User-agent: Google
Disallow:
User-agent: *
Disallow: /

Memberikan pengecualian terhadap semua file kecuali satu

User-agent: *
Disallow: /~joe/stuff/

Atau sobat blogger dapat secara eksplisit melarang semua halaman dianulir:

User-agent: *
Disallow: /~joe/junk.html
Disallow: /~joe/foo.html
Disallow: /~joe/bar.html

Apakah sobat blogger sudah bisa memahami penjelasan di atas? Mungkin sobat blogger malah tambah pusing. Jadi, lebih baik saya jelaskan langsung tentang cara menambahkan Custom robots.txt pada blog yang bernaung di bawah Paltform blogger.com

Cara Setting Custom robots.txt di blog :

· Login di http://www.blogger.com

· Pada menu Drop Down, Klik Settings dan Search preferences

· Lihat bagian Crawlers and indexing

· Klik kata Edit pada Custom robots.txt ?

· Di bagian Enable custom robots.txt content?, kasih tanda pada kolom "yes"

· Masukkan kode berikut

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://bangvandawablog.blogspot.com/feeds/posts/default?orderby=updated&max-results=999

· Klik Save Changes

OK SOB.....Sekian posting saya mengenai Cara Mensetting Custom Robots.txt Blog Agar SEO.

Semoga bermanfaat.....!!

» JANGAN LUPA LIKE N Komentarnya Yeach...