Halo, para blogger dan webmaster! Kalau kamu serius ingin websitemu muncul dan berprestasi di hasil pencarian Google, ada satu file kecil yang seringkali disalahpahami tapi punya peran penting: robots.txt. File ini ibarat satpam digital yang berjaga di gerbang depan websitemu.
Banyak yang mengira robots.txt adalah "surat undangan" untuk Google. Padahal, fungsinya justru sebaliknya. Yuk, kita bedah tuntas apa itu robots.txt, cara membuatnya dengan benar, dan kesalahan fatal yang harus dihindari.
Apa Sih Sebenarnya Fungsi `robots.txt`? π€
Fungsi utama robots.txt adalah untuk **memberi tahu robot mesin pencari** (seperti Googlebot) area mana dari websitemu yang **TIDAK BOLEH** mereka kunjungi atau "crawl".
Ini bukan undangan, tapi lebih seperti denah area terlarang. Jika kamu tidak melarang apa pun, robot akan menganggap seluruh area websitemu adalah area publik yang boleh dijelajahi.
Jadi, dengan robots.txt, kita bisa mencegah Google mengindeks halaman-halaman yang tidak penting, seperti halaman login admin, folder skrip, atau halaman hasil pencarian internal.
Contoh `robots.txt` Paling Benar untuk 99% Blogger β
Untuk sebagian besar blog, tujuannya adalah agar semua konten bisa ditemukan Google. Oleh karena itu, konfigurasi terbaik adalah yang paling sederhana: izinkan semua, dan beri tahu di mana letak "peta"-nya.
Versi Paling Direkomendasikan (Izinkan Semua + Peta Situs)
User-agent: *
Disallow:
Sitemap: https://www.domainbloganda.com/sitemap.xml- User-agent: * Tanda bintang `(*)` berarti aturan ini berlaku untuk SEMUA robot (Google, Bing, Yahoo, dll).
- Disallow: Dengan membiarkannya **kosong**, kamu bilang, "Tidak ada yang dilarang, silakan jelajahi semuanya!"
- Sitemap: ... Ini bagian yang super penting! Kamu memberi tahu robot, "Hei, kalau mau lihat daftar lengkap semua halamanku yang penting, ini petanya (`sitemap.xml`)." Ini sangat mempercepat proses pengenalan dan indeksasi.
Jangan lupa ganti `https://www.domainbloganda.com/sitemap.xml` dengan URL sitemap-mu yang sebenarnya!
Contoh untuk Pengguna Tingkat Lanjut π
Seiring waktu, mungkin kamu ingin memblokir area tertentu. Misalnya, jika kamu menggunakan WordPress, kamu tidak mau halaman admin muncul di Google.
Versi dengan Pengecualian (Contoh WordPress)
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Sitemap: https://www.domainbloganda.com/sitemap.xmlDi sini, kita secara spesifik melarang robot masuk ke folder `/wp-admin/` dan file `/wp-login.php`, yang merupakan praktik keamanan dan SEO yang baik.
Kesalahan Fatal yang Harus Dihindari! β
Jangan pernah, dalam kondisi apapun, menggunakan konfigurasi ini kecuali kamu benar-benar ingin menghilang dari peredaran internet.
User-agent: *
Disallow: /Perintah `Disallow: /` artinya: "Larang akses ke seluruh situs". Ini sama saja dengan memasang papan "TUTUP SELAMANYA" di gerbang websitemu.