Robots.txt adalah file teks sederhana di root website yang memberi instruksi kepada bot perayap (seperti Googlebot) halaman mana yang boleh diakses dan mana yang diabaikan.
Meski tidak bisa memaksa bot, robots.txt sangat berguna untuk menghemat Crawl Budget agar Google fokus merayapi halaman penting.
Contoh Fungsi Robots.txt
- Memblokir halaman admin atau duplikat agar tidak masuk Indexing.
- Mengarahkan bot ke XML Sitemap agar semua halaman ditemukan.
- Mencegah aset berat dirayapi berulang kali.
Robots.txt & SEO
Pengaturan yang salah bisa membuat halaman penting tak terindex. Pastikan selaras dengan Technical SEO dan Schema Markup. Bersama Super Kilat, konfigurasi robots.txt disetel agar website UMKM Anda dirayapi efisien oleh Google.