Apa Itu Googlebot dan Bagaimana Ia Mengimbas Laman Web Anda

Apa Itu Googlebot?

Googlebot ialah nama yang diberikan kepada program automatik - juga dikenali sebagai *crawler*, *robot*, *bot*, atau *spider* - yang digunakan Google untuk menemui dan mengimbas laman web di internet. Ia merupakan sebahagian daripada infrastruktur pengimbasan Google yang besar dan berkelajuan tinggi. Googlebot bukan satu program tunggal, tetapi satu kelompok *crawlers* dan *fetchers* yang bertindak secara berbeza bergantung pada keperluan produk Google dan permintaan pengguna.

Google menggunakan *crawlers* untuk tugas automatik seperti mengimbas laman demi memasukkan kandungan ke dalam indeks carian. Sebaliknya, *fetchers* bertindak lebih spesifik - contohnya, seperti alat *wget*, ia biasanya membuat satu permintaan sahaja atas arahan pengguna. Contoh *fetcher* yang dipicu pengguna ialah Google Site Verifier, yang berfungsi apabila pemilik laman meminta pengesahan kepemilikan.

Tiga Jenis Pengimbas Google

Google mengkategorikan pengimbasnya kepada tiga jenis utama:

Pengimbas Biasa

Ini termasuk Googlebot dan *crawlers* lain yang digunakan untuk produk utama Google seperti Google Search. Semua pengimbas ini sentiasa menghormati arahan yang ditetapkan dalam fail robots.txt untuk imbasan automatik. Maksudnya, jika anda menulis arahan untuk melarang Googlebot mengakses sebahagian laman, ia akan patuh.

Pengimbas Kes Khas

Pengimbas jenis ini serupa dengan pengimbas biasa, tetapi digunakan untuk produk tertentu di mana terdapat persetujuan antara pihak yang diimbas dan produk Google. Sebagai contoh, AdsBot boleh mengabaikan arahan umum robots.txt (seperti penggunaan User-agent: *) dengan kebenaran penerbit iklan.

Pengimbas yang Dipicu Pengguna

Seperti namanya, pengimbas ini hanya berjalan apabila pengguna secara aktif memulakannya. Ia bukan proses automatik, tetapi respons terhadap tindakan langsung - seperti ketika anda menggunakan alat pengesahan laman dalam Google Search Console.

Cara Googlebot Beroperasi

Googlebot direka untuk beroperasi secara serentak melalui ribuan komputer di seluruh dunia. Tujuannya ialah meningkatkan prestasi dan skala seiring pertumbuhan web. Untuk menjimatkan penggunaan jalur lebar, pengimbas Google diedarkan di pelbagai pusat data di seluruh dunia - sehingga ia berada berdekatan dengan laman web yang diimbas. Oleh itu, log akses laman anda mungkin menunjukkan pelbagai alamat IP dari lokasi berbeza.

Secara amnya, Google menghantar trafik imbasan terutamanya dari alamat IP di Amerika Syarikat. Namun, jika Google mengesan bahawa laman anda menyekat permintaan dari Amerika Syarikat, ia mungkin cuba mengimbas dari alamat IP di negara lain.

Protokol dan Sokongan Teknikal

Googlebot menyokong protokol HTTP/1.1 dan HTTP/2. Ia akan memilih versi protokol yang memberikan prestasi imbasan terbaik, dan boleh bertukar antara kedua-duanya mengikut statistik imbasan sebelumnya. Secara lalai, Googlebot menggunakan HTTP/1.1. Walaupun penggunaan HTTP/2 boleh menjimatkan sumber komputasi seperti CPU dan RAM - baik untuk laman anda mahupun untuk Googlebot - tiada manfaat khusus dari segi pengekalan atau penstrukturan hasil carian Google.

Jika anda ingin menolak imbasan melalui HTTP/2, anda boleh arahkan pelayan laman anda untuk mengembalikan kod status HTTP 421 apabila Googlebot mencuba sambungan HTTP/2. Jika ini tidak praktikal, anda juga boleh menghubungi pasukan pengimbasan Google - walaupun penyelesaian ini bersifat sementara.

Selain HTTP, Googlebot juga menyokong pengimbasan melalui FTP dan FTPS, walaupun penggunaannya sangat jarang.

Pentingnya Imbasan dalam Proses Carian Google

Imbasan adalah peringkat pertama dalam tiga tahap operasi Google Search. Selepas imbasan, Google menganalisis kandungan laman (teks, imej, video) dan menyimpan maklumat tersebut dalam indeks - sebuah pangkalan data besar. Akhirnya, apabila pengguna membuat carian, Google mengambil maklumat dari indeks untuk menyediakan hasil yang relevan.

Perlu diingat: Google tidak menerima bayaran untuk mengimbas laman lebih kerap atau menaikkan kedudukan laman dalam hasil carian. Tiada jaminan bahawa laman anda akan diimbas, diindeks, atau dipaparkan - walaupun ia mematuhi semua panduan asas Google Search.

Sumber

• https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers
• https://developers.google.com/search/docs/fundamentals/how-search-works

Anda boleh menyemak laman sendiri dengan SEO Panel Malaysia di https://seopanel.thalhah.my/.