Title : Cara Setting Robots.txt pada Blogger
link : Cara Setting Robots.txt pada Blogger
Cara Setting Robots.txt pada Blogger
Setelah pada posting lalu blog belajar seo pemula membahas mengenai cara setting custom robots header tags blogspot, pada kesempatan ini blog belajar seo pemula akan mencoba untuk membahas mengenai cara setting robots.txt pada blogger. Apa keuntungan menggunakan fasilitas ini pada blogger anda? Dan bagaimana cara setting robots.txt pada blogger anda? Langsung saja mari kita bahas mengenai hal ini.
Apa itu robots.txt?
Robots.txt adalah file teks yang mengandung beberapa baris dari kode sederhana. File tersebut tersimpan dalam website atau blog server yang menginstruksikan mesin crawler web untuk meng-indeks dan meng-crawl ( merayap menelusuri ) blog anda pada hasil pencarian. Ini berarti, anda dapat membatasi halaman mana dari blog anda dari web crawler jadi halaman tersebut tidak akan ter-indeks search engine seperti halaman label pada blog anda, atau halaman demo atau halaman lain yang tidak penting untuk di index. Untuk di ingat bahwa mesin crawler men-scan robots.txt sebelum melakukan crawling pada setiap halaman web.
Setiap blog host di blogger memiliki file robots.txt default seperti berikut ini :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED
Penjelasan
Dari kode tersebut terbagi menjadi 3 bagian. Mari kita bahas satu per satu dari cara setting robots.txt pada blogger ini.
1. User-agent : Mediapartners-Google
Kode ini untuk Google Adsense robots yang membantu mereka untuk menayangkan iklan agar lebih baik di blog anda. Entah anda menggunakan google adsense di blog anda atau tidak.
2. User-agent : *
Ini untuk semua robot yang ditandai dengan tanda bintang (*). Dalam pengaturan default blog, label link dibatasi untuk di indeks oleh crawler pencari yang berarti web crawler tidak akan meng-indeks label halaman blog karena dibawah kode berikut.
“Disallow: /search”
Ini berarti link yang mempunyai kata kunci “search” setelah nama domain akan diabaikan. Seperti contoh berikut ini :
http://www.namadomainanda.com/search/label/SEO Pemula
Namun apabila kita menghapus “Disallow: /search” dari kode diatas maka crawler akan mengakses seluruh blog untuk meng-indeks dan crawl semua halaman konten dan web.
“Allow: /”
Mengacu pada homepage yang berarti web crawler bisa meng-crawl ( merayap menelusuri ) dan meng-indeks homepage blog anda.
Larangan Khusus Postingan
Jika anda ingin mengecualikan posting tertentu dari peng-indeks-an maka anda dapat menambahkan baris baru pada kode diatas.
Jika anda ingin mengecualikan posting tertentu dari peng-indeks-an maka anda dapat menambahkan baris baru pada kode diatas.
Disallow: /tahun/bulan/alamat-posting.html
“Tahun” dan “bulan” mengacu pada tahun dan bulan penerbitan posting. Contohnya seperti berikut ini :
Disallow: /2013/01/alamat-posting.html
Untuk mempermudah cara ini, anda tinggal copy-paste dari alamat posting yang akan anda inputkan, lalu hapus nama domain anda dan sisakan dari tahun sampai alamat url postingan anda.
Larangan Khusus Halaman
Jika anda bermaksud untuk melarang halaman tertentu untuk di indeks maka anda dapat menggunakan metode yang sama dengan kode diatas. Lakukan copy-paste url halaman dan hapus alamat blog hingga yang tersisa seperti berikut :
Disallow: /p/alamat-halaman.html
3. Sitemap: http://namabloganda.blogspot.com/feeds/post/default?orderby=UPDATED
Kode tersebut mengacu pada sitemap blog anda. Dengan menambahkan link sitemap disini maka anda akan mengoptimalkan tingkat perayapan blog anda. Ini berarti setiap web crawler memindai file robots.txt anda, mereka akan menemukan “path” ke sitemap anda dimana semua link dari postingan anda yang telah terbit terdapat disitu. Dengan begitu, web crawler akan merasa dimudahkan untuk merayapi semua postingan anda. Oleh karena itu, ada kemungkinan yang sangat baik bahwa web crawler akan merayapi semua posting di blog anda tanpa melewatkan satu pun postingan anda tersebut.
Catatan : Sitemap ini hanya akan memberitahu web crawler tentang 25 posting terbaru saja. Jika anda ingin meningkatkan jumlah link dalam sitemap anda, maka ganti sitemap standar dengan sitemap dibawah ini yang akan bekerja untuk 500 posting terbaru anda.
Sitemap: http://namadomainanda.blogspot.com /atom.xml?redirect=false&start-index=1&max-results=500
Namun jika jumlah posting dalam blog anda mencapai angka yang lebih dari 500, maka anda bisa menggunakan kode sitemap dibawah ini :
Sitemap: http:// namadomainanda.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000
Cara Setting Robots.txt pada Blogger
Berikut ini adalah bagaimana cara setting robots.txt pada blogger :
1. Login ke blogger anda
2. Pilih Settings > Search Preferences > Crawlers and indexing > Custom robots.txt > Edit > Yes
3. Copy kode diatas dan pastekan pada kotak file robots.txt
4. Klik “Save Changes”
1. Login ke blogger anda
2. Pilih Settings > Search Preferences > Crawlers and indexing > Custom robots.txt > Edit > Yes
3. Copy kode diatas dan pastekan pada kotak file robots.txt
4. Klik “Save Changes”
Bagaimana cara mengecek file robots.txt?
Anda bisa melakukan pengecekan file robots.txt anda dengan memasukkan /robots.txt pada bagian akhir alamat url blog anda di browser. Seperti contoh dibawah ini :
http://namadomainanda.blogspot.com/robots.txt
Sedangkan hasil pada browser akan terlihat seperti contoh gambar berikut ini :
Yang perlu diingat, jangan memasukkan kode apapun pada robots.txt anda tanpa anda mengetahui maksud kode tersebut.
Demikian artikel mengenai cara setting robots.txt pada blogger. Semoga bermanfaat.
Such is the article Cara Setting Robots.txt pada Blogger
That's an article Cara Setting Robots.txt pada Blogger this time, hopefully can benefit for you all. okay, see you in other article posting.
You are now reading the article Cara Setting Robots.txt pada Blogger with the link address https://seo-ilmuteknik.blogspot.com/2015/03/cara-setting-robotstxt-pada-blogger.html
0 Response to "Cara Setting Robots.txt pada Blogger"
Posting Komentar