Anda tahu ketika Anda menggunakan Google untuk mencari [sebuah layanan], atau menemukan informasi? Dan begitu halaman dimuat, selalu ada satu situs web di paling atas.
Situs di posisi 1 di halaman hasil mesin pencari Google (SERP) mendapatkan sebagian besar dari semua klik. Jadi tidak perlu dikatakan lagi, penting untuk mengikuti praktik terbaik SEO untuk mencoba dan memaksimalkan posisi situs Anda di SERP.
Tetapi apakah Anda tahu bagaimana Google bahkan menemukan situs Anda di [tempat] pertama?
Jawabannya adalah perayap Google. Perayap Google seperti robot digital kecil yang mengunjungi situs web dan mengumpulkan informasi tentang situs-situs tersebut.
Kemudian, Google mengindeks semua informasi tersebut dan menggunakannya untuk meningkatkan algoritma pencariannya. Ketika seseorang mengetikkan "query" ke dalam Google, algoritma pencarian menelusuri semua informasi yang diindeks untuk menemukan hasil terbaik untuk "query" orang tersebut.
Dan begitulah cara Google dapat memberikan hasil terbaik ketika Anda mencari sesuatu di internet!
Apa itu Google Crawler?
Google Crawler juga dikenal sebagai “robot” atau “spider,” (mengerti, karena mereka merayap) dan mereka pergi dari situs web ke situs web dalam pencarian informasi baru untuk disimpan di basis data mereka. Ada 15 jenis crawler yang digunakan oleh Google tetapi yang paling penting adalah Googlebot.
Sementara Google kuat, itu tidak bisa melakukan segalanya, setiap kali halaman web baru dibuat, Google tidak mengetahuinya sampai halaman tersebut telah di-crawl.
Google menggunakan Googlebot untuk terus mendapatkan informasi terbaru untuk disimpan dalam basis datanya.
Indeksasi Google vs Perayapan Google
Pengindeksan hanya terjadi setelah situs web dirayapi oleh GoogleBot. Ketika dirayapi, situs tersebut dipindai, dan informasi yang dipindai dari situs atau halaman tersebut disimpan di indeks Google.
Indeks akan mengkategorikan dan memberi peringkat halaman sesuai dalam hasil pencarian.
Mengapa "Google Crawlers" Penting?
Jadi mengapa semua ini [penting]?
Yah, katakanlah Anda menjalankan bisnis dan memiliki situs web. Anda ingin situs web Anda sedekat mungkin dengan puncak. Jika situs web Anda tidak di-"crawled" dan dipindai, itu tidak akan muncul di halaman pencarian.
Tanpa kehadiran di internet, Anda tidak akan dapat menjangkau audiens atau konsumen Anda. "Crawling" dan "indexing" membuatnya sedikit lebih mudah bagi situs web untuk mendapatkan perhatian.
Bagaimana Google Crawler Bekerja
Jadi, Anda tahu apa itu tetapi bagaimana cara kerjanya? Meskipun Google kuat, ia tidak dapat melakukan segalanya, setiap kali halaman web baru dibuat, Google tidak mengetahuinya sampai halaman tersebut di-crawl. Google menggunakan Googlebot untuk terus mendapatkan informasi tambahan untuk disimpan dalam databasenya.
Setelah halaman web tersebut dirayapi atau dipindai. Halaman tersebut dirender dan diberikan kode HTML, CSS, JavaScript, dan pihak ketiga, yang semuanya diperlukan agar Googlebot dapat mengindeks dan memberi peringkat situs web. Googlebot, perayap terbesar, mampu melihat dan merender semua halaman web dan situs web dengan Chromium.
Chromium selalu diperbarui agar tetap stabil dan menjalankan tugasnya dengan akurat. Ini tersedia untuk semua orang dan juga dapat digunakan untuk menguji fitur baru dan membuat peramban baru.
Cara Membuat Situs Anda Lebih Mudah untuk Di-crawl
Sekarang setelah kita tahu apa yang kita kerjakan, mari kita bekerja untuk membuat situs web Anda mudah di-crawl.
Berikut adalah beberapa [tips] dan trik untuk membuat [website] Anda menjadi magnet perayap dan naik ke puncak halaman hasil pencarian.
Tautan Internal
Link internal dapat menjadi sahabat terbaik Anda untuk [perayapan]. Situs Anda mungkin sudah dirayapi oleh Google di masa lalu tetapi baru-baru ini Anda mungkin telah menambahkan lebih banyak halaman. Jika perayap sudah mengenal situs web Anda, itu hanya akan fokus pada halaman utama.
Ingat, Google tidak diberitahu setiap kali halaman baru dibuat, ia menjelajah untuk menemukan halaman-halaman tersebut.
Menggunakan tautan internal pada halaman utama membimbing crawler ke tempat yang perlu dituju. Tempat terbaik untuk tautan internal ini adalah beranda Anda, itu adalah halaman yang menerima lalu lintas paling banyak dan di mana crawler akan memindai pertama kali.
Backlink
Backlinks adalah cara hebat lainnya untuk membuat situs Anda dirayapi. Metode ini dapat digunakan untuk “mempromosikan” situs web Anda kepada perayap.
Menautkan ke situs web yang lebih populer akan meningkatkan peluang Anda untuk ditemukan oleh perayap.
Catatan: Anda dapat dengan mudah memeriksa profil backlink untuk situs apa pun, termasuk pesaing Anda, menggunakan alat Penelitian Backlink gratis dari SEOptimer.
Gambar
Gambar dapat di-crawl, sebenarnya, ada crawler khusus hanya untuk gambar. Crawler ini dikenal sebagai Googlebot Image, dan itu mengumpulkan gambar untuk basis data.
Peta Situs
Ada cara untuk memberi tahu Google halaman mana yang Anda ingin mereka jelajahi secara lebih langsung. Anda dapat mengirimkan "sitemap" dengan daftar rinci halaman yang ingin Anda jelajahi oleh Google.
Gunakan XML Sitemap Generator kami untuk membangun peta situs seluruh situs web Anda. Buatlah, beri nama. Dan unduh ke komputer Anda untuk diunggah ke Google Search Console.
Kedalaman Klik
Kedalaman klik (juga dikenal sebagai kedalaman crawl) menunjukkan seberapa banyak pekerjaan yang harus dilakukan oleh perayap untuk mencapai dan memindai halaman Anda. Anda tidak pernah ingin perayap harus melakukan terlalu banyak pekerjaan, Anda ingin halaman atau situs web Anda semudah mungkin dijelajahi oleh perayap.
Itu seharusnya memerlukan sekitar tiga klik atau kurang, semakin banyak yang diperlukan semakin memperlambat perayap.
Sebuah [struktur] yang baik harus memungkinkan Anda untuk menambahkan halaman baru tanpa mempengaruhi [kedalaman] klik Anda. Crawler juga harus tetap dapat mencapai halaman-halaman ini dengan mudah.
FYI: Sebuah aturan praktis yang baik adalah memastikan Anda dapat menavigasi dari satu halaman di situs Anda ke halaman lain di situs Anda dengan tidak lebih dari 3 klik. Ini memastikan Google dapat menemukan dan mengindeks semua halaman Anda secara efisien. Selain itu, ini bagus untuk pengalaman pengguna.
Instruksi Pengindeksan
Ada instruksi yang diikuti Google saat merayapi dan membuat ide halaman. Robots.txt, tag noindex, tag meta robots, dan X-Robots-Tag. Jangan khawatir, kami akan menjelaskan ini untuk Anda.
Robots.txt adalah file direktori root yang menahan halaman dan konten tertentu dari Google. Ketika crawler sedang memindai sebuah halaman, itu akan melihat ini untuk [informasi]. Jika crawler tidak dapat menemukan [informasi] ini, ia akan menghentikan pemindaian dan halaman tersebut tidak akan menjadi bagian dari hasil pencarian.
Tag noindex [mencegah] semua jenis perayap [untuk dapat] memindai dan mengindeks sebuah halaman.
Tag meta robot, dapat membantu mengontrol cara suatu halaman seharusnya diindeks dan dimuat untuk peselancar web dalam hasil pencarian.
X-Robots-Tag, adalah bagian dari header HTTP dan akan membantu mengontrol perilaku perayap. Ini mengawasi bagaimana seluruh halaman diindeks. Anda dapat memblokir gambar dan video pada sebuah halaman menggunakan metode ini. Anda juga dapat menargetkan jenis perayap secara individual, tetapi hanya jika itu ditentukan.
Jika jenis perayap tidak ditentukan, maka instruksi akan berlaku untuk semua perayap Google.
Struktur URL
Anda mungkin pernah mendengar ini sebelumnya tetapi pastikan Anda memiliki URL yang "ramah pengguna".
Sebuah URL yang mudah, satu yang akan disukai oleh konsumen dan algoritma Anda. Cobalah untuk menjaga URL Anda sesingkat dan semanis mungkin.
Jika Anda memiliki URL yang panjang, hal tersebut dapat membingungkan tidak hanya bagi mata manusia tetapi juga bagi bot Google.
Semakin bingung Googlebot, semakin banyak sumber daya perayapan yang akan dihabiskannya dan itu jelas bukan yang Anda inginkan.
Masalah Umum (dan Solusi) dengan Perayapan Google
Jadi, Anda memiliki halaman tetapi tidak berfungsi seperti yang Anda inginkan. Ini bisa jadi karena crawler mengalami kesulitan mencoba memindai dan mengindeks situs Anda.
Berikut beberapa masalah umum yang sering dihadapi orang dengan Google Crawling.
1. Google tidak Merayapi Situs Web Anda
Pastikan Anda memeriksa untuk melihat apakah halaman atau situs Anda ramah perayapan. Itu berarti memiliki URL yang baik, menggabungkan tautan internal dan balik jika diperlukan, atau meluangkan waktu untuk membuat peta situs untuk menunjukkan kepada Googlebot di mana harus merayapi.
Juga, ingatlah bahwa mungkin diperlukan waktu bagi Google untuk merayapi dan mengindeks situs web Anda karena Google harus menemukan Anda!
2. Anda telah Dihapus dari Indeks Google
Google akan menghapus situs web jika merasa perlu, baik karena hukum, relevansi, atau karena tidak mengikuti pedoman yang ada. Gunakan "SEO Crawler" kami untuk memeriksa apakah ada sesuatu yang dapat memblokir perayap dari halaman Anda.
Setelah Anda melakukan itu, Anda dapat mengirimkan situs web Anda ke Google untuk pertimbangan ulang.
3. Anda memiliki Konten Duplikat
"Konten duplikat" adalah halaman yang memiliki [konten] serupa dengan halaman lain atau beberapa URL mengarah ke satu halaman.
Dalam kasus memiliki halaman dengan konten serupa, yang juga bisa berarti bahwa Anda memiliki versi desktop dan versi mobile dari satu halaman. Namun, contoh paling umum dari konten duplikat pada sejumlah halaman.
Ini dapat dihindari dan diperbaiki dengan URL kanonik, atau URL yang berfungsi sebagai wakil untuk halaman duplikat ini.
Google hanya akan menampilkan halaman yang mereka yakini memiliki konten paling berguna di dalamnya dan memberi label itu sebagai kanonik. Ini adalah halaman yang akan dirayapi daripada duplikatnya.
Untuk menghindari ini, pertimbangkan untuk menulis ulang "teks" pada halaman-halaman ini agar tidak bingung sebagai duplikat.
4. Ada "Rendering Issues"
Jika Anda mengalami masalah [rendering] pastikan [coding] Anda tidak terlalu besar. [Coding] Anda perlu sebersih mungkin agar perayap dapat merender semuanya dengan benar.
Jika crawler tidak dapat merender halaman, itu akan dianggap kosong.
FAQ Perayap Google
Berapa lama waktu yang dibutuhkan Google untuk merayapi sebuah situs web?
Biasanya Google membutuhkan waktu mulai dari beberapa hari hingga minggu untuk merayapi. Anda dapat memantau perayapan menggunakan Laporan Status Indeks atau alat inspeksi URL. Ingat, Google tidak diberi tahu setiap kali sebuah situs web atau halaman baru dibuat, itu harus merayapi dan menemukannya.
FYI: Situs yang lebih populer di-"crawled" lebih cepat. Situs baru biasanya memerlukan waktu berminggu-minggu untuk di-"crawl", sedangkan situs terkemuka seperti NY Times, Wall Street Journal, dan Wikipedia di-"crawl" beberapa kali per hari.
Apa itu algoritma Google Crawler?
Algoritma Google Crawler didasarkan pada seberapa ramah perayap situs Anda. Ini termasuk "kata kunci", URL, "konten dan informasi", pengkodean, dan banyak lagi. Terserah Anda untuk memberikan konten dan panduan terbaik kepada Google sehingga dapat menemukan halaman Anda dan mulai merayapi.
Apakah semua halaman tersedia untuk crawling?
Ini adalah pertanyaan yang bagus. Jawaban singkatnya adalah tidak. Beberapa halaman tidak dapat di-crawl dan diindeks karena mereka dilindungi kata sandi, secara khusus dikecualikan dari instruksi indeks, atau tidak memiliki tautan pada halaman mereka.
Kapan situs web saya akan muncul di pencarian Google?
Ini akan selalu bervariasi tergantung pada berapa lama waktu yang dibutuhkan agar situs web Anda di-crawl dan diindeks. Ini bisa hanya memakan waktu beberapa hari atau selama beberapa minggu.
Apa "web crawler" lain yang ada?
Ya! Ada banyak perayap web di luar lima belas milik Google. Berikut beberapa sebagai referensi:
- Ada BingBot yang digunakan oleh mesin pencari Bing.
- SlurpBot, digunakan oleh Yahoo! Perayap web ini adalah campuran antara Yahoo! dan Bing, karena Bing terutama mendukung Yahoo!.
- ExaBot adalah mesin pencari dan perayap paling populer di Prancis.
- AppleBot digunakan oleh perusahaan teknologi besar Apple untuk pencarian spotlight dan saran Siri.
- Facebook, percaya atau tidak, menggunakan tautan untuk mengirim konten ke profil lain dan hanya dapat merayapi jika diberikan tautan.
Optimalkan Situs Anda untuk Perayapan Google
Sekarang setelah Anda memahami dasar-dasar Google Crawling dan bagaimana cara kerjanya, gunakanlah untuk keuntungan Anda! Dapatkan situs web Anda diindeks dengan benar dan naik ke puncak halaman hasil pencarian. Ini gratis dan sepenuhnya ada di tangan Anda.
