SEO Robots.txt For Small Blogger

Robots.txt berguna untuk mengatur daya jelajah yang dilakukan oleh search engine. Membatasi gerak mereka dan memberikan akses apa saja yang mereka boleh kunjungi, simpan dan terbitkan.

Setting SEO Untuk Blogspot
Agar blog pada blogspot menjadi lebih SEO Friendly dan khususnya tidak terjadi duplicate contents, sebaiknya setting robots.txt diatur dengan baik sehingga tidak semua link diarsipkan oleh Google, Ask, Bing ataupun search engine lainnya.

Dengan Search Engine Optimization pada robots.txt ini, blogger akan menjadi lebih disenangi oleh Google. :D

Untuk sebuah blog dengan posts kurang dari 500 artikel, robots.txt yang ampuh adalah:

User-agent:  *
Allow: /
Disallow: /*?*
Disallow: /search

User-agent: Mediapartners-Google
Disallow:

Sitemap: http://nama-blog-anda.blogspot.com/feeds/posts/default

SEO robots.txt diatas sudah diterapkan pada banyak blog dan hasilnya cukup baik :D
Untuk Setting SEO dengan blog berukuran besar atau more than 500 posts, saya belum tau bagaimana setting yang terbaik.