EASY Cara Mengoptimalkan Robots.txt WordPress untuk SEO 2020

EASY Cara Mengoptimalkan Robots txt WordPress untuk SEO 2020

Baru-baru ini dari teman-teman pembaca kami menanyakan tips mengenai cara mengoptimalkan robots.txt untuk meningkatkan SEO. File Robots.txt memberi tahu mesin pencari cara merayapi situs web Anda yang menjadikannya alat SEO yang sangat kuat. Pada artikel ini, kami akan menunjukkan cara membuat file robots.txt yang sempurna untuk SEO.

mengoptimalkan Robots_txt SEO WordPress

Mengoptimalkan Robots.txt

Apa itu file robots.txt? Robots.txt adalah file teks yang dapat dibuat oleh pemilik situs web untuk memberi tahu bot mesin telusur cara merayapi dan mengindeks laman di situs mereka. Biasanya disimpan di direktori root yang juga dikenal sebagai folder utama situs Anda. Format dasar untuk file robots.txt terlihat seperti ini:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]

User-agent: [user-agent name]
Allow: [URL string to be crawled]

Sitemap: [URL of your XML Sitemap]

Anda dapat memiliki beberapa baris petunjuk untuk mengizinkan atau melarang URL tertentu dan menambahkan beberapa peta situs. Jika Anda tidak melarang URL, maka bot mesin pencari akan berasumsi bahwa mereka diizinkan untuk merayapinya. Berikut adalah tampilan file contoh robots.txt:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/

Sitemap: https://nezzanseo.com/sitemap_index.xml

Pada contoh mengoptimalkan robots.txt di atas, kami telah mengizinkan mesin telusur untuk merayapi dan mengindeks file di folder unggahan WordPress kami. Setelah itu, kami melarang bot penelusuran untuk merayapi dan mengindeks plugin dan folder admin WordPress, dan pada bagian terakhir kami telah memberikan URL peta situs XML kami.

File Robots.txt untuk WordPress

Apakah Anda Membutuhkan File Robots.txt untuk Situs WordPress Anda? Jika Anda tidak mempunyai file robots.txt, mesin pencari masih tetap merayapi dan mengindeks website wordpress Anda. Namun, Anda tidak akan dapat memberi tahu mesin telusur halaman atau folder mana yang tidak boleh mereka crawl.

Ini tidak akan berdampak banyak saat Anda pertama kali memulai blog dan tidak memiliki banyak konten. Namun, seiring pertumbuhan situs web Anda dan Anda memiliki banyak konten, Anda mungkin ingin memiliki kontrol yang lebih baik atas cara situs web Anda dirayapi dan diindeks. Dan inilah alasannya.

  • Bot pencarian memiliki kuota penjelajahan untuk setiap situs web.

Ini berarti mereka merayapi sejumlah laman selama sesi perayapan. Jika mereka tidak selesai merayapi semua laman di situs Anda, mereka akan kembali dan melanjutkan perayapan di sesi berikutnya.

  • Ini dapat memperlambat laju pengindeksan situs web Anda.

Anda dapat memperbaikinya dengan melarang bot pencarian untuk mencoba merayapi halaman yang tidak perlu seperti halaman admin WordPress, file plugin, dan folder tema Anda.

Dengan melarang halaman yang tidak perlu, Anda menghemat kuota penjelajahan Anda. Ini membantu mesin telusur merayapi lebih banyak laman di situs Anda dan mengindeksnya secepat mungkin.

Alasan bagus lainnya untuk menggunakan file robots.txt adalah saat Anda ingin menghentikan mesin telusur agar tidak mengindeks postingan atau halaman di situs Anda.

Ini bukan cara teraman untuk menyembunyikan konten dari masyarakat umum, tetapi ini akan membantu Anda mencegahnya muncul di hasil penelusuran.

File Robots.txt

Seperti apa sih bentuk File Robots.txt yang Ideal itu ? Banyak blog populer menggunakan file robots.txt yang sangat sederhana. Kontennya dapat bervariasi, tergantung pada kebutuhan situs tertentu:

User-agent: *
Disallow:

Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml

File robots.txt ini memungkinkan semua bot mengindeks semua konten dan memberi mereka tautan ke peta situs XML situs web. Untuk website WordPress, kami merekomendasikan sebagai berikut di file robots.txt:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/

Sitemap: https://detektifwanita.com/post-sitemap.xml
Sitemap: https://detektifwanita.com/page-sitemap.xml

Ini memberi tahu bot pencarian untuk mengindeks semua gambar dan file WordPress. Itu melarang bot pencarian mengindeks file plugin WordPress, area admin WordPress, file readme WordPress, dan tautan afiliasi.

Mengoptimalkan robots.txt wordPress untuk SEO dengan cara menambahkan peta situs ke file robots.txt, Anda mempermudah bot Google untuk menemukan semua halaman di situs Anda.

Sekarang setelah Anda mengetahui seperti apa file robots.txt yang ideal, mari kita lihat bagaimana Anda dapat membuat file robots.txt di WordPress.

Bagaimana Cara Membuat File Robots.txt di WordPress?
Ada dua cara untuk membuat file robots.txt di WordPress. Anda dapat memilih metode yang paling sesuai untuk Anda.

Metode 1: Mengedit File Robots.txt Menggunakan Yoast SEO

Jika Anda menggunakan plugin Yoast SEO , plugin ini dilengkapi dengan generator file robots.txt.

Anda dapat menggunakannya untuk membuat dan mengedit file robots.txt langsung dari area admin WordPress Anda.

Cukup buka halaman SEO »Tools di admin WordPress Anda dan klik link File Editor.

plugin seo yoast robots_txt

Di halaman berikutnya, halaman Yoast SEO akan menampilkan file robots.txt Anda yang sudah ada. Jika Anda tidak memiliki file robots.txt, maka Yoast SEO akan membuatkan file robots.txt untuk Anda.

tools seo yoast

Secara default, generator file robots.txt Yoast SEO akan menambahkan aturan berikut ke file robots.txt Anda:

User-agent: *
Disallow: /

Tujuan mengoptimalkan file robots.txt

Tujuan mengoptimalkan file robots.txt Anda adalah untuk mencegah mesin telusur merayapi laman yang tidak tersedia untuk umum. Misalnya, halaman di folder wp-plugins Anda atau halaman di folder admin WordPress Anda.

EASY Cara Mengoptimalkan Robots.txt WordPress untuk SEO 2020 | Mitos umum di antara pakar SEO adalah bahwa memblokir kategori, tag, dan halaman arsip WordPress akan meningkatkan kecepatan crawling dan menghasilkan pengindeksan yang lebih cepat dan peringkat yang lebih tinggi.

Ini tidak benar. Itu juga melanggar pedoman webmaster Google.

Kami menyarankan Anda mengikuti format robots.txt di atas untuk membuat file robots.txt untuk situs Anda.

Kami berharap artikel ini membantu Anda mempelajari cara mengoptimalkan robots.txt WordPress untuk SEO. Anda mungkin juga ingin melihat panduan SEO WordPress terbaik kami dan alat Jasa SEO WordPress terbaik untuk mengembangkan situs web Anda.