SEO Crawler SEOptimer membantu Anda memindai dan mengaudit halaman di situs web Anda untuk mengidentifikasi masalah SEO teknis dalam skala besar.
Alih-alih memeriksa halaman satu per satu, crawler meninjau struktur situs Anda, menganalisis elemen SEO di berbagai URL, dan menyoroti masalah yang mungkin memengaruhi pengindeksan, kegunaan, atau visibilitas pencarian.
Dalam panduan ini, Anda akan:
- Jalankan "crawl" pertama Anda
- Tinjau laporan "crawl"
- Pelajari cara mengatur aturan "crawl" kustom
- Jadwalkan dan ekspor "crawl" situs web
Apa itu "SEO Crawler" SEOptimer?
SEO Crawler SEOptimer adalah alat perayapan situs web yang memindai halaman-halaman situs Anda dan mengidentifikasi masalah terkait SEO di berbagai URL.
Ini bekerja dengan mengunjungi halaman di situs web Anda dan mengumpulkan data SEO teknis dan on-page seperti judul halaman, deskripsi meta, heading, kode status, indeksabilitas, pengalihan, dan tautan rusak.
Setelah perayapan selesai, alat ini menghasilkan laporan perayapan yang merangkum masalah yang ditemukan di seluruh situs Anda dan mengelompokkannya berdasarkan jenis dan tingkat keparahan.
Ini membuatnya lebih mudah untuk melihat masalah yang berulang dan memprioritaskan perbaikan, terutama pada situs web yang lebih besar di mana pemeriksaan halaman secara manual tidak praktis.
"SEO Crawler" berguna untuk menjalankan audit SEO teknis, memantau kesehatan situs dari waktu ke waktu, dan memeriksa apakah halaman kunci mengikuti praktik terbaik SEO.
Cara Menjalankan Perayapan Pertama Anda
Untuk menjalankan crawl pertama Anda, klik opsi “Website Crawls” di bawah “Auditing” pada dashboard SEOptimer Anda.
Kemudian, tambahkan URL situs web Anda ke kolom terbuka dan klik “Add Crawl.”
Itu dia, Anda telah memulai perayapan situs SEOptimer pertama Anda!
SEO Crawler kami sekarang akan memeriksa semua halaman di situs Anda untuk menemukan masalah yang mungkin ada.
"Crawls" berjalan dalam waktu nyata, tetapi total waktu "crawl" akan bervariasi tergantung pada ukuran situs web Anda dan jumlah halaman yang perlu dipindai.
Sementara perayapan masih berjalan, Anda dapat mulai meninjau masalah saat terdeteksi dengan membuka laporan perayapan.
Apa yang dapat Anda Lihat dalam Setiap Laporan Perayapan?
Setelah alat kami selesai menjelajahi situs Anda, Anda akan melihat tiga bagian utama:
- Header Laporan
- Halaman yang Diidentifikasi
- Ringkasan Masalah
Mari kita berjalan melalui setiap bagian ini.
Kepala Laporan
Di sini Anda dapat melihat kapan laporan dihasilkan, meminta perayapan ulang, melihat tugas, dan menyesuaikan aturan perayapan. (lebih lanjut tentang fitur-fitur ini nanti)
Halaman yang Diidentifikasi
Bagian ini menampilkan tabel dari semua halaman yang ditemukan selama perayapan, bersama dengan masalah SEO yang terdeteksi untuk setiap halaman.
Ketika Anda mengklik halaman tertentu (misalnya, jalur homepage root yang ditampilkan sebagai “/”), Anda akan melihat daftar semua masalah yang ditandai untuk URL tersebut, termasuk tingkat keparahan dari setiap masalah.
Untuk melihat lebih detail, klik pada [setiap] "masalah" dalam daftar.
Misalnya, memilih “Lebih Dari Satu Tag H1” akan membuka rincian terperinci dari masalah tersebut untuk halaman yang dipilih.
Tampilan masalah ini mencakup:
- URL yang terpengaruh
- Deskripsi masalah
- Apa arti masalah tersebut
- Cara memperbaikinya
Setiap "pop-up" masalah juga akan menyertakan tautan ke panduan pendukung untuk membantu Anda menyelesaikan [problem] di situs web Anda.
Ringkasan Masalah
Bagian Ringkasan Masalah memberikan gambaran umum tentang semua masalah SEO yang terdeteksi di seluruh situs web Anda, dikelompokkan berdasarkan jenis masalah dan diurutkan berdasarkan prioritas.
Untuk setiap masalah, tabel menunjukkan:
- Tipe isu
- Tingkat prioritas
- Jumlah halaman yang terpengaruh
Jadi dalam tangkapan layar situs di bawah ini yang saya telusuri, Anda dapat melihat bahwa ada 137 halaman yang memiliki lebih dari satu tag H1, 133 halaman yang memiliki kesalahan 404, dan 2 halaman yang tidak memiliki deskripsi meta.
Setelah Anda meninjau ringkasan masalah, Anda dapat melanjutkan ke pengaturan crawl dan menjelajahi opsi SEO Crawler tambahan.
Lihat Tugas
Setelah menyelesaikan perayapan situs web, Anda dapat menggunakan fitur "Manajemen Tugas" SEOptimer untuk mengatur dan melacak masalah yang diidentifikasi dalam laporan perayapan Anda.
Alat Manajemen Tugas mengubah masalah crawl menjadi daftar tugas yang dapat Anda kerjakan dalam satu ruang kerja, memudahkan untuk memprioritaskan perbaikan dan melacak kemajuan dari waktu ke waktu.
Cara Mengakses Daftar Tugas
Anda dapat membuka daftar tugas Anda dengan dua cara:
- Klik tombol biru “Lihat Tugas” di header Laporan Crawl.
- Atau pilih Manajemen Tugas dari menu navigasi sebelah kiri di dasbor Anda.
Catatan: Jika Anda telah merayapi beberapa situs web, Anda dapat beralih antara daftar tugas menggunakan menu dropdown di bagian atas halaman Manajemen Tugas.
[Menyaring] dan [Mengelola Tugas]
Tugas dapat disaring berdasarkan:
- Status (Terbuka, Selesai, Dihapus)
- Kategori (mis. SEO Pada-Halaman, Tautan, dll.)
Ketika Anda mengklik pada sebuah tugas, Anda akan melihat informasi terperinci yang mirip dengan laporan crawl, termasuk:
- URL Terpengaruh
- Deskripsi masalah
- Apa arti masalah ini
- Cara memperbaikinya
- Pilihan untuk menyelesaikan tugas atau menghapusnya dari daftar tugas
Cara "Menjadwalkan" [Crawls]
Anda juga memiliki opsi untuk menjadwalkan [crawls] agar berjalan setiap minggu atau bulanan. Fitur ini sangat berguna bagi agensi yang mengelola beberapa situs web klien.
Untuk mengatur jadwal perayapan, cukup klik tombol “Options” di sebelah kanan situs web yang ingin Anda jadwalkan perayapannya.
Kemudian, klik pada opsi “Jadwal” dan sesuaikan jadwal perayapan sesuai dengan preferensi Anda.
Ketika perayapan terjadwal selesai, Anda akan menerima email dengan beberapa detail tingkat tinggi.
Mengatur "Crawl Rules" Anda Sendiri
"SEO Crawler" mencakup opsi konfigurasi perayapan yang memungkinkan Anda mengontrol halaman mana yang disertakan dalam [perayapan].
Pengaturan ini berguna jika Anda ingin membatasi hasil, menghindari URL duplikat, atau memastikan perayap berperilaku sesuai dengan aturan pengindeksan situs Anda.
Patuhi Pengecualian Robots.txt
Secara default, crawler dapat mengikuti aturan yang ditentukan dalam file robots.txt situs Anda. Ini menentukan apakah crawler harus menghindari memindai halaman yang ditandai sebagai tidak diizinkan.
- Diaktifkan (disarankan): Perayap akan menghormati pengecualian robots.txt dan melewati halaman yang diblokir.
- Dinonaktifkan: Perayap akan mengabaikan aturan robots.txt dan mencoba merayapi semua halaman yang dapat diaksesnya.
Dalam kebanyakan kasus, disarankan untuk mematuhi robots.txt, terutama ketika menjalankan "crawls" di situs produksi yang aktif.
Abaikan Halaman yang Cocok dengan Pola Ini
Beberapa situs web menghasilkan beberapa versi dari halaman yang sama menggunakan parameter URL (misalnya, "penyortiran", "penyaringan", "pagination", atau kode pelacakan).
Ini terutama umum di situs web ecommerce.
Opsi “Abaikan halaman yang cocok dengan pola ini” memungkinkan Anda untuk mengecualikan URL duplikat atau bernilai rendah ini dari perayapan. Ini membantu menjaga hasil perayapan tetap bersih dan membuat pelaporan masalah lebih mudah untuk ditinjau.
Ini adalah fitur yang lebih maju dan terutama berguna untuk situs web dengan sejumlah besar URL berbasis parameter.
SEOptimer menyertakan satu set pola pengecualian default untuk menyaring duplikat berbasis parameter umum, tetapi Anda dapat menambahkan aturan Anda sendiri jika diperlukan.
Pola-pola ini mengikuti sintaks pencocokan robots.txt standar.
Jika Anda tidak terbiasa dengan aturan robots.txt atau pencocokan pola URL, disarankan untuk meninjau dasar-dasar sebelum menambahkan pengecualian perayapan kustom. Pola yang salah dapat mencegah halaman penting di-[crawl].
Berikut adalah beberapa referensi yang berguna:
- Robots.txt - Panduan Terbaik
- Pengantar dan Panduan Robots.txt | Google Search Central
- Bagaimana Google menginterpretasikan spesifikasi robots.txt
- Sintaks Robots.txt
Cara Mengekspor Data Perayapan
Setiap tabel dalam laporan SEO Crawler mencakup opsi ekspor bawaan, memungkinkan Anda untuk mengunduh atau membagikan hasil [crawl] di luar platform.
Di bagian bawah setiap tabel, Anda akan melihat tombol ekspor yang memungkinkan Anda mengeluarkan data dalam berbagai format:
- CSV: Unduh tabel sebagai file .csv (berguna untuk spreadsheet dan pemrosesan data).
- Excel: Ekspor tabel sebagai file Excel untuk pelaporan atau analisis lebih lanjut.
- PDF: Hasilkan versi PDF dari tabel untuk berbagi atau dokumentasi.
- Cetak: Buka versi tabel yang ramah cetak.
Ekspor berlaku untuk tabel spesifik yang Anda lihat, memudahkan untuk mengunduh daftar masalah, laporan halaman, atau hasil yang disaring sesuai kebutuhan.
Menyimpulkan
SEO Crawler SEOptimer memudahkan untuk mengidentifikasi masalah teknis dan SEO di halaman seluruh situs web Anda dalam satu kali perayapan.
Dengan meninjau laporan crawl dan menggunakan daftar tugas bawaan, Anda dapat dengan cepat mengubah temuan crawl menjadi perbaikan yang dapat ditindaklanjuti.
Untuk hasil terbaik, pertimbangkan untuk menjadwalkan crawl secara teratur untuk memantau perubahan dari waktu ke waktu dan menangkap masalah baru saat situs web Anda berkembang.
Butuh Bantuan?
"Obrolan Langsung": Klik "Obrolan Langsung" (kanan bawah)
Email: [email protected]
[Waktu] [respon]: [Dalam] 24 [jam]
