Cara Pengaturan robot txt custom untuk Menghindari Gagal Indeks

Cara pengaturan robot txt custom untuk menghindari gagal indeks di google search console sebenarnya mudah, butuh ketelitian sedikit saja untuk bisa memahaminya, iya sedikit aja kok. Tidak perlu banyak. Kalau banyak-banyak biar para master SEO aja, kita-kita yang awam ngikutin aja. hehee

qowim.net

Tutorial ini masih berhubungan dengan artikel berjudul cara mudah mengatasi URL yang dikirimkan ditandai noindex silakan dibaca terlebih dahulu jika belum menemukan solusinya.

Pengantar

Pengaturan robot txt custom adalah hal yang penting bagi seorang blogger, sebab kesalahan di dalam pengaturan, maka bisa jadi menyebabkan kontek-konten kita tidak terindeks di mesin pencari google. Tentunya ini akan merugikan kita sendiri. 

Saya pernah memberikan tutorial tentang ini karena di blog saya yang lain, ada 69 artikel dari 200 artikel yang tidak terindeks di google search console. Wah rasanya mumet tenan. 

Terdapat dua pengaturan dasar yang harus dipahami dalam hal ini.

1. Robot txt kustom
2. Tag Header Robot kustom 

Yang pertama berfungsi untuk membaca keseluruhan isi dari hompage, yang kedua ada pilihan-pilihan tertentu yang boleh kita tentukan sendiri, mana yang boleh diindeks, dan mana yang tidak boleh. 

Langsung aja nih satu-satu ya... 

Cara Pengaturan Robot txt Custom

Sebagaimana yang sudah disebutkan di atas, bahwa robot txt kustom ini memang diperuntukkan mengindeks keseluruhan isi dari tampilan beranda kita, mulai dari artikel, halaman, breadcrumbs, dan lainnya.

Oleh karena itu, kita diperkenankan untuk mengatur sendiri secara kustom. Begini caranya:

1. Menu Setting

qowim.net

Silakan centang sesuai dengan gambar di atas. 

Keterangan
No. 1 adalah robot yang membaca keseluruhan isi dari blog
No. 2 adalah robot yang secara khusus membaca di header blog

2. Klik robot txt kustom

Lalu pasang script di bawah ini

User-agent: Mediapartners-Google
Disallow: /search

User-agent: *
Allow: /

Sitemap: https://qowim.net/sitemap.xml

Silakan ganti alamat blog kalian yang saya warnai biru.

Keterangan

disallow: /search artinya robot tidak mengizinkan setiap alamat blog yang ada tanda /searh - biasanya terjadi ketika kita klik label pada sebuah blog. Misalnya blogkamu.com/search/label/cara-menulis.html alamat itu tidak diindeks oleh mesin telusur google. 

allow: /artinya mengindeks seluruh tautan yang ada di blog tanpa terkecuali 

3. Selesai dan jangan lupa klik Simpan

Jika sudah, kita lanjut yang kedua, yaitu tag header robot kustom

Tag Header Robot Kustom

Berbeda dengan yang pertama, tag header robot kustom ini lebih spesifik, ia bisa diatur sesuai dengan keinginan kita, tag header di sini ada 3 macam ya;

1. Tag halaman beranda
2. Tag halaman penelusuran
3. Tag Postingan dan halaman

Untuk cara pengaturannya, silakan ikuti saja gambar di bawah ini. 

1. Klik terlebih dahulu tag halaman beranda dan aturlah sesuai gambar di bawah lalu simpan

qowim.net

2. Klik tag halaman penelusuran dan atur sesuai gambar di bawah ini lalu simpan

qowim.net

3. Klik tag postingan dan halaman lalu atur dengan mengikuti gambar di bawah lalu simpan

qowim.net

Penutup

Jika hal-hal di atas sudah dilakukan, coba cek kembali di postingan-postingan lama, di menu kanan bagian bawah ada menu tag robot kustom, diset default aja, artinya disesuaikan dengan settingan yang baru saja kita buat. 

Selanjutnya, minta indeks lagi ke google search console, biasanya memang memakan waktu yang cukup lama untuk proses perayapan atau crawling di blog kita, oleh karena itu kudu sabar ya... 

Sebab barangkali sudah ada di google, namun di web google search console belum update. Coba cek saja di google dengan mengetik site:https://url_blog.html 

Kalau sudah muncul berarti sudah diindeks, jangan khawatir lagi. 

Cukup sekian panduan ngeblog tentang tutorial pengaturan robot custom untuk menghindari gagal indeks di google, semoga bermanfaat. Kalau ada yang punya solusi lain bisa kok dicantumkan di kolom komentar.