Berapa lama SEO mengambil masa untuk tunjuk hasil

Artikel ini fokus kepada satu soalan praktikal: apakah jenis crawler dan fetcher Google yang disebut dalam sumber, dan apakah tindakan yang boleh dibuat oleh pemilik laman kecil? Google menggunakan crawler dan fetcher untuk melaksanakan tindakan bagi produknya, sama ada secara automatik atau dicetuskan oleh permintaan pengguna. Sumber membahagikan klien Google kepada tiga kategori, iaitu common crawlers, special-case crawlers, dan user-triggered fetchers. Dengan memahami senarai ini, anda tidak perlu meneka mengapa laman anda mungkin menerima lawatan automatik yang berbeza.

Senarai tiga kategori crawler dan fetcher Google

Bahagian ini menyenaraikan tiga kategori yang disebut oleh Google. Setiap kategori mempunyai peranan berbeza.

Maksud crawler dan fetcher

Crawler, kadang-kadang disebut robot atau spider, ialah istilah umum untuk program yang digunakan untuk menemui dan mengimbas laman web secara automatik. Fetcher pula bertindak seperti program wget yang biasanya membuat satu permintaan bagi pihak pengguna.

1. Common crawlers

Common crawlers ialah crawler yang digunakan untuk produk Google, contohnya Googlebot. Sumber menyatakan bahawa common crawlers sentiasa menghormati peraturan robots.txt untuk crawls automatik. Untuk pemilik laman kecil, ini bermaksud jika anda mempunyai peraturan robots.txt, kategori ini akan mengikut peraturan tersebut ketika crawl automatik.

2. Special-case crawlers

Special-case crawlers adalah serupa dengan common crawlers, tetapi digunakan oleh produk tertentu apabila ada persetujuan antara laman yang di-crawl dan produk Google tentang proses crawl. Contoh yang diberikan ialah AdsBot, yang boleh mengabaikan peraturan global robots.txt untuk user agent (*) dengan kebenaran penerbit iklan (ad publisher). User agent di sini merujuk kepada crawler atau fetcher yang disebut dalam sumber.

3. User-triggered fetchers

User-triggered fetchers ialah sebahagian daripada alat dan fungsi produk di mana pengguna akhir mencetuskan fetch. Contoh yang diberikan ialah Google Site Verifier, yang bertindak atas permintaan pengguna. Ini bermaksud fetch jenis ini tidak semestinya berlaku secara automatik seperti crawler, tetapi boleh berlaku apabila seseorang pengguna meminta sesuatu tindakan.

Tindakan yang boleh dibuat mengikut kategori

Selepas mengenal pasti senarai kategori, langkah seterusnya ialah menentukan apa yang boleh disemak pada laman anda.

Untuk common crawlers

Tindakan utama ialah menyemak peraturan robots.txt anda. Sumber menyatakan common crawlers menghormati peraturan robots.txt untuk crawl automatik. Jika anda ingin membenarkan atau mengehadkan crawl automatik, bahagian ini perlu jelas. Jangan anggap semua produk Google bertindak sama; kategori ini khusus untuk crawler umum seperti Googlebot.

Untuk special-case crawlers

Tindakan utama ialah memahami sama ada laman anda mempunyai persetujuan dengan produk Google tertentu. Sumber menyebut bahawa special-case crawlers digunakan apabila ada persetujuan tentang proses crawl. Jika anda tidak mengetahui adanya persetujuan, anda tidak perlu membuat andaian bahawa crawler khusus akan mengikut peraturan global yang sama seperti common crawlers. Contoh AdsBot menunjukkan bahawa dengan kebenaran penerbit iklan (ad publisher), ia boleh mengabaikan peraturan global robots.txt untuk user agent (*).

Untuk user-triggered fetchers

Tindakan utama ialah menyedari bahawa fetch boleh dicetuskan oleh pengguna. Sumber memberikan contoh Google Site Verifier. Jika anda atau pengguna lain menggunakan alat atau fungsi produk yang meminta fetch, permintaan tunggal boleh berlaku. Anda boleh menyemak log laman (rekod lawatan) jika anda ingin melihat permintaan sedemikian, tetapi sumber tidak menjanjikan bahawa semua fetch akan berlaku secara berkala.

Senarai semakan teknikal untuk pemilik laman kecil

Bahagian ini menyenaraikan perkara teknikal yang disebut dalam sumber dan boleh disemak tanpa perlu menambah alat luar.

1. Semak log untuk beberapa alamat IP

Sumber menyatakan bahawa crawler dan fetcher Google direka untuk dijalankan serentak oleh ribuan mesin. Untuk mengoptimumkan penggunaan jalur lebar, klien ini diagihkan ke banyak pusat data di seluruh dunia supaya terletak berhampiran laman yang mungkin diakses. Oleh itu, log laman anda mungkin menunjukkan lawatan daripada beberapa alamat IP. Jika anda melihat beberapa IP, itu selari dengan cara infrastruktur Google dijelaskan.

2. Ambil perhatian tentang IP dari Amerika Syarikat

Sumber menyatakan bahawa trafik keluar Google terutamanya berasal dari alamat IP di Amerika Syarikat. Jika Google mengesan bahawa laman menyekat permintaan dari Amerika Syarikat, ia mungkin cuba crawl dari alamat IP yang terletak di negara lain. Tindakan anda: jika laman anda sengaja menyekat trafik dari Amerika Syarikat, sedar bahawa crawl mungkin masih cuba berlaku dari lokasi lain. Jangan terus menganggap sekatan satu negara bermakna tiada permintaan langsung.

3. Semak protokol HTTP/1.1 dan HTTP/2

Sumber menyatakan crawler dan fetcher Google menyokong HTTP/1.1 dan HTTP/2. Crawler akan menggunakan versi protokol yang memberikan prestasi crawl terbaik dan boleh bertukar protokol antara sesi crawl bergantung kepada statistik crawl sebelumnya. Protokol lalai ialah HTTP/1.1. Crawling melalui HTTP/2 mungkin menjimatkan sumber pengiraan seperti CPU dan RAM untuk laman anda dan Googlebot, tetapi selain itu tiada manfaat khusus produk Google kepada laman, contohnya tiada peningkatan kedudukan dalam Google Search.

Tindakan praktikal:

• Jika anda ingin kekal dengan HTTP/1.1, anda tidak perlu mencari manfaat kedudukan daripada HTTP/2 kerana sumber menyatakan tiada peningkatan kedudukan.
• Jika anda ingin opt out daripada crawling melalui HTTP/2, sumber menyatakan anda boleh mengarahkan pelayan yang mengehos laman anda supaya menjawab dengan kod status HTTP 421 apabila Google cuba mengakses laman melalui HTTP/2.
• Jika cara itu tidak dapat dilakukan, sumber menyebut anda boleh menghantar mesej kepada Crawling team, tetapi penyelesaian ini bersifat sementara.

4. Fahami bahawa FTP dan FTPS disokong, tetapi jarang

Sumber menyatakan infrastruktur crawler Google juga menyokong crawling melalui FTP dan FTPS, namun crawling melalui protokol ini adalah jarang. Tindakan pemilik laman kecil: jika laman anda menggunakan FTP atau FTPS, ketahui bahawa sokongan disebut, tetapi sumber juga menyatakan ia jarang. Anda tidak perlu membina jangkaan bahawa protokol ini menjadi laluan utama.

5. Semak content encoding yang disokong

Sumber menyebut bahawa crawler dan fetcher Google menyokong content encodings atau mampatan tertentu, dan petikan sumber menamakan gzip. Tindakan mudah: jika anda melihat rujukan kepada gzip dalam konfigurasi laman anda, ia selari dengan sokongan yang disebut dalam sumber. Jangan menambah senarai encoding lain daripada petikan ini.

Ringkasan tindakan untuk pemilik laman kecil

Berikut ialah senarai ringkas yang boleh anda gunakan:

1. Kenal pasti tiga kategori: common crawlers, special-case crawlers, dan user-triggered fetchers.
2. Untuk common crawlers, semak peraturan robots.txt kerana kategori ini menghormati peraturan tersebut untuk crawl automatik.
3. Untuk special-case crawlers, semak sama ada ada persetujuan dengan produk Google tertentu, kerana proses crawl mungkin berbeza.
4. Untuk user-triggered fetchers, sedar bahawa permintaan boleh dicetuskan oleh pengguna, contohnya Google Site Verifier.
5. Semak log untuk beberapa alamat IP dan fahami bahawa trafik keluar Google terutamanya dari Amerika Syarikat, tetapi mungkin cuba dari negara lain jika permintaan dari Amerika Syarikat disekat.
6. Semak penggunaan HTTP/1.1 dan HTTP/2. Jika mahu opt out daripada HTTP/2, gunakan kod status HTTP 421 atau hubungi Crawling team sebagai penyelesaian sementara.
7. Jangan harapkan peningkatan kedudukan daripada HTTP/2; manfaat yang disebut ialah penjimatan sumber pengiraan seperti CPU dan RAM.
8. Jika anda menggunakan FTP atau FTPS, ketahui bahawa sokongan wujud, tetapi crawling melalui protokol ini jarang.
9. Untuk content encoding, berpandulah kepada apa yang disebut dalam sumber, contohnya gzip.

Dengan senarai ini, pemilik laman kecil boleh membezakan antara crawler automatik, crawler khusus dengan persetujuan, dan fetch yang dicetuskan pengguna. Fokusnya ialah tindakan yang boleh disemak pada laman sendiri: peraturan robots.txt, log IP, protokol HTTP, dan jangkaan terhadap FTP atau FTPS.

Sumber

• https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers

Jika anda ingin menyemak laman sendiri dengan lebih tenang, anda boleh cuba SEO Panel Malaysia di https://seopanel.thalhah.my/.