Crawling adalah Cara Googlebot menemukan halaman yang diperbaharui dan akan menambahkannya ke indeks Google. Proses penjelajahan dimulai dengan sebuah daftar URL halaman web, yang dihasilkan dari proses berdasarkan perayapan sebelumnya ( indeks ), dan ditambah dengan Sitemap data yang diberikan oleh webmaster. Googlebot akan melihat isi website tersebut, mendeteksi link pada setiap halaman dan menambahkannya ke dalam daftar perayapan halaman ( indeks ) . Situs baru, dan perubahan pada situs yang ada, dan link mati dicatat dan digunakan untuk memperbarui indeks Google.
Catatan
: Untuk mengetahui LINK mati atau rusak sangatlah sulit. Pemecahannya adalah
buang artikel lama Anda ( yang menurut Anda lama atau sudah kadaluarsa
informasinya ) karena tidak menutup kemungkinan terdapatnya link mati atau
rusak. Umumnya bagi BLOG penyedia download software atau banyak menggunakan
eksternal link.
Cara
mengatasi crawl error menggunakan webmaster tool, salah satu cara optimasi blog adalah
dengan cara menghapus kesalahan perayapan yang terjadi saat Google melakukan
crawling terhadap blog Anda. Semua berjuan agar proses crawling Blog Anda menjadi
lancar, Setiap kesalahan perayapan (crawl error) akan menghambat dan mengganggu
search engine dalam proses meng-crawl dan mengindeks blog Anda.
Penyebab
paling umum crawl error
adalah menghapus artikel yang sudah dipublish dan telah terindeks oleh google. Ketika
seseorang mengklik link ( yang sudah anda hapus ) maka Mesin Pencari Google akan mengindeks link
error dan akan muncul halaman yang bertulisan Crawl Error 404 Not Found,
artinya URL yang diminta tidak ditemukan.
Jika crawl
error terjadi pada kotak komentar
penyebabnya ketika ada pengunjung yang meninggalkan link artikelnya di blog Anda
dan artikel tersebut dihapus oleh pemiliknya maka muncul peringatan Url Not
Found (tidak ditemukan).
MENGATASI CRAWL ERROR PADA BLOG
► 1. Login
ke halaman Dashboard
Google Webmaster Tools.
► 2. Pilih
blog yang ingin anda periksa
► 3. Kemudian
pada sidebar sebelah kiri, klik KESEHATAN
► KESALAHAN
PERAYAPAN
► 4. Centang
semua crawl error
► 5. Klik
Tandai sebagai yang Telah diperbaiki
► 6. Kemudian
Klik Ok
Akan ada
tulisan : Kesalahan
ini tidak akan dicantumkan lagi (tetapi mungkin akan muncul kembali jika
masalah tidak diatasi)
Jadi
jika pada kesempatan berikutnya anda mengecek lagi tapi masih tersisa beberapa
crawl error yang tidak bisa diperbaiki. Maka lakukan langkah 1 (satu) sampai 3
(tiga) diatas, sehingga langkah yang ke
► 4. Klik Not
Found.
► 5. Anda
akan dibawa ke halaman Crawl Errors. Di halaman ini akan ditunjukkan URL yang
Not Found. Kemudian Anda Copy URL tersebut.
► 7. Lalu Paste URL Not found yang dicopy tadi,
Kemudian klik Terus ( Continue )
► 8. Lalu
akan ada 3 pilihan dalam menghapus URL
► URL akan
dihapus dari hasil pencarian Google dan cache
► URL akan
dihapus dari cache saja
► URL akan
dihapus dari direktori Google
► 9. Kemudian
Klik untuk Kirim Permintaan
Catatan :
Dalam
proses penghapusan URL " Not Found " memerlukan waktu agak lama ( tidak bisa langsung hilang…! ). Dan
waktunya tergantung seberapa rajin Google mengcrawl blog anda. Demikian Artikel
Pengertian dan Cara Mengatasi Crawl Error pada Blog Anda. Semoga cara diatas
bisa membantu atasi crawl error blog Anda dan proses crawling pada blog Anda
semakin lancar. Tentunya mampu mendongkrak posisi Blog Anda di mesin pencari
Google karena proses maintanance ini juga bagian dari SEO.