Cara Setting Robots.Txt Dan Tag Tajuk Robot Khusus Yang Seo Blogger Dengan Mudah

Setting Robots.txt dan Tag Tajuk Robot Khusus

Sebagai seorang blogger tentunya kita sudah sering mendengar bahkan tidaklah gila bagi Anda ihwal robot.txt ini. Ya benar robot.txt ini sangat penting dalam sebuah halaman situs atau website alasannya yang bertugas merayapi dan juga memfilter setiap konten yang ada ada blog atau web kita di mesin pencari.  Pemilik situs web memakai file / robots.txt untuk memberi petunjuk ihwal situs mereka ke robot web; ini disebut The Robots Exclusion Protocol. Web Robots (juga dikenal sebagai Web Wanderers, Crawler, atau Spiders), yaitu kegiatan yang melintasi Web secara otomatis. Mesin pencari menyerupai Google menggunakannya untuk mengindeks konten web dan masih banyak lagi fungsinya.

Dengan adanya Robots.txt dan Tag Tajuk inilah yang nantinya akan mempermudah mesin pencari dalam hal merayapi konten web, akses, dan indeks, dan menyajikan konten tersebut kepada pengguna juga meliputi instruksi menyerupai robot meta, serta petunjuk halaman, subdirektori, atau keseluruhan situs untuk bagaimana mesin pencari harus memperlakukan tautan yang dimiliki (seperti "follow" atau "nofollow"). Maka perlu di ingat bahwa setingan ini sangat penting alasannya dampaknya akan terasa kalau kita salah untuk menyetingnya. Jika salah sedikit saja maka bukan mustahil kinten Anda akan di acuhkan oleh mesin pencari.

Namun demikian tahukah Anda kalau dari beberapa artikel yang saya baca ternyata, penggunanan yang menerapkan robot.txt ini beropini bahwa sangat berkhasiat untuk mendongkrak SEO blog kita. Ya benar kalau kita sanggup memaksimalkannya dengan setingan yang sesuai maka ini akan kuat pada SEO friendly blog kita juga. Dengan memperhatikan cara kerja robot.txt ini maka kita sanggup memilih mana saja yang boleh di indeks oleh mesin pencari dan mana yang tidak kita perbolehkan. Misalkan saja Anda mempunyai sebuah konten yang tidak ingin di tampilkan ke publik dan mesin pencari maka robot.txt ini akan sangat berkhasiat untuk memblokir halaman yang di tentukan. Dalam hal ini juka Anda memakai blogger maka sudah di sediakan fitur ini yang akan memudahkan kita dalam memaksimalkan dan meningkatkan secara optimal SEO blog kita.

Nah bagaimana Cara Setting Robots.txt dan Tag Tajuk Robot Khusus tersebut semoga kondusif sebagai berikut:

Biasanya Format Dasarnya adalah:

 User-agent: [user-agent name]Disallow: [URL string not to be crawled]

1). Gunakan Robots.txt bawaan atau default-nya

Jika berbicara mana yang paling kondusif maka setingan bawaan dari google lah yang paling terjamin keamanannya. Namun demikian bukan berarti tidak maksimal dan efektif dalam memfilter dan merayapi konten Anda. Dalam penerapannya pun tidak perlu di ambil pusing alasannya memang dari semenjak pertama kali Anda menciptakan blog sudah aktif secara otomatis di blog Anda.

Berikut Robot.txt standar dan default-nya

 User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://blog-anda.blogspot.com/sitemap.xml

Keterangan:

User-agent:

Berfungsi sebagai Mediapartners-Google yaitu menyerupai AdSense

Disallow:

Pada kode ini berfungsi sebagai penunjuk bahwa bot crawl di perintahkan untuk merayapi semua tampilan adsense yang Anda miliki, Dengan memakai kode ini mempunyai kegunaan yaitu untuk merayapi semua halman blog anda dengan syarat ketentuan adsense. Anda juga sanggup mengkosongkan kode ini.

User-agent : * 

Kode tersebut berfungsi untuk perintah bot-crawl untuk merayapi seluruh halaman situs yang Anda miliki namun dengan syarat baris tersebut harus terpisah dari kode, yang dimaksudkan itu kode yang diterapkan sesudah kode user-agent.

Disallow: /search

Pada kode ini berfungsi untuk penunjuk bahwa setiap halman pencarian dalam bentuk URL tidak akan dijelajahi dan tidak diindex oleh bot-crawl. Jika memakai kode ini akan memaksmalkan dan meningkatkan SEO Anda alasannya memang kode tersebut berkhasiat untuk menghindari kalau adanya duplikat kontent yang sering di jumpai blogger.

Sitemap: Pada kode ini bertujuan untuk menampilkan sebuah link daftar isi blog anda. Ini akan mempermudah dala perayapan mesin pencari untuk konten Anda.

2). Custom Robot.txt

 User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Disallow: /p/contact.html
Allow: /
Sitemap: http://blog-anda.blogspot.com/sitemap.xml

Jika Anda memakai kode di atas maka akan berfungsi utnuk membatasi dalam hal perayapan halaman tertentu misal Anda tidak ingin menampilkan halaman kontak dan ihwal pada halaman statis maka dengan menggunakannya halaman tertentu tersebut tidak akan di rayapi oleh mesin pencari.

Bagaimana Cara Mengaktifkan Dan Setting Robot.txt:

1.  Log in ke blogger dengan akun blogger anda.
2.  Klik setelan -> Preferensi penelusuran / Search preferences.
3.  Pada tab perayap dan pengindeksan pilih robot.txt.

4.  Dan masukkan perintah menyerupai yang di jelaskan di atas.

 User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.gomarketingstrategic.com/sitemap.xml

5. Simpan.

Bagaimana Cara setting Robot Header Tags (Tag Tajuk Robot Khusus)

1. Masih di sajian setelan ->Search preferences / Preferensi penelusuran
2. Dibagian paling bawah ada sajian Custom robots header tags. Klik edit.
3. Pilih Yes/Ya
4. Akan muncul kotak settingan, samakan setingan menyerupai gambar dibawah ini:

5. Lalu Tinggal Simpan Perubahan.

Tujuan dan fungsi diatas yaitu membolehkan perayapan mesin pencari utnuk merayapi semua isi blog secara default untuk pos dan laman akan tetapi tidak membolehkan mesin pencari untuk merayapi laman arsip dan penelusuran atau fungsi pencarian dalam blog.

Sebagai catatan saya untuk menerapkan fungsi ini saya harap untuk di pertimbangkan terlebih dahulu dengan berhati-hati alasannya memang sangat sensitif kalau terjadi kesalahan bahkan kalau salah maka sanggup jadi akan berakibat diabaikan oleh mesin pencari. Bahkan di situ sudah terang ada peringatan yaitu: (Peringatan! Gunakan dengan hati-hati. Penggunaan yang tidak sempurna dari fitur tersebut sanggup menjadikan blog Anda diabaikan oleh mesin telusur.).

Bagaiman teman blogger menarik bukan pembahasanya. Sebagai epilog saya akan berpesan bahwa saya telah menerapkan beberapa setingan pada Robots.txt dan Tag Tajuk Robot Khusus ini dan ternyata tidak ada yang lebih baik dari bawaan atau default-nya. Pernah saya mengganti-ganti setingan tersebut untuk mencoba dan ternyata malah blog saya menjadi de-index hingga pengunjung turun hingga 50% jadi pesan saya sedrehana hati-hati dalam menerapkannya. Robot.txt ini sangat berkhasiat untuk mendongkrak SEO blog kita kalau dimanfaatkan dengan sebaik mungkin. Itu artinya akan manis juga untuk meningkatkan traffik dan pengunjung blog kita dan sebaliknya.  

Cukup sekian pembahasan kali ini ihwal Robots.txt dan Tag Tajuk Robot Khusus yang SEO Blogger. Semoga artikel yang sedikit ini menunjukkan gosip yang bermanfaat untuk Anda. Jika ada kekurangan saya mohon maaf kalau berkenan mau menambahi atau ingin menyebarkan dengan pengunjung yang lain silahkan berkomentar di bawah ini Terimakasih salam sukses untuk kita semua.

Sumber https://kumisdzgn.blogspot.com