Cara baiki SEO laman web yang tidak muncul dalam Google

Apakah langkah pertama memahami robots.txt untuk laman anda?

Robots.txt ialah fail yang memberitahu crawler enjin carian URL mana yang boleh diakses di laman anda. Untuk pemilik perniagaan kecil, langkah pertama adalah memahami bahawa fail ini digunakan terutamanya untuk mengelakkan laman anda daripada menerima terlalu banyak permintaan. Ia bukan mekanisme untuk mengeluarkan halaman web daripada Google. Jika matlamat anda ialah menghalang halaman daripada muncul dalam carian, langkah yang betul bukan bergantung pada robots.txt. Panduan menyatakan bahawa anda perlu menyekat pengindeksan dengan noindex atau melindungi halaman dengan kata laluan. Dengan kata lain, robots.txt membantu mengurus trafik crawler, tetapi tidak menyelesaikan masalah halaman yang mahu disembunyikan sepenuhnya. Jika anda menggunakan CMS seperti Wix atau Blogger, anda mungkin tidak perlu atau tidak boleh mengedit fail robots.txt secara terus. CMS mungkin menyediakan halaman tetapan carian atau mekanisme lain untuk memberitahu enjin carian sama ada halaman anda boleh dicrawl atau tidak. Oleh itu, langkah pertama ialah kenal pasti sama ada anda mengurus fail ini secara langsung atau melalui tetapan CMS.

Langkah apa yang boleh dibuat untuk mengurus trafik crawler?

Langkah seterusnya ialah menggunakan robots.txt untuk mengurus trafik crawler ke laman anda. Fail ini sesuai digunakan apabila anda berpendapat pelayan anda mungkin menerima terlalu banyak permintaan daripada crawler Google. Dalam situasi ini, robots.txt boleh membantu mengawal URL yang boleh diakses. Anda juga boleh menggunakannya untuk mengelakkan crawler daripada melawat halaman yang tidak penting atau halaman yang serupa. Untuk halaman web, fail ini boleh digunakan pada HTML, PDF, atau format bukan media lain yang boleh dibaca oleh Google. Tindakan ini bukan untuk menyembunyikan halaman, tetapi untuk mengurus beban permintaan dan mengelakkan crawler melawat kandungan yang tidak penting. Jika anda mempunyai fail yang mahu dihalang daripada Google, robots.txt juga boleh digunakan bergantung pada jenis fail. Namun, anda perlu sentiasa membezakan antara mengurus crawler dan menghalang pengindeksan. Jika tujuan anda ialah pengindeksan, robots.txt sahaja bukan langkah yang mencukupi.

Langkah apa yang tidak boleh diharapkan daripada robots.txt?

Langkah penting seterusnya ialah mengetahui had robots.txt. Jangan gunakan fail robots.txt sebagai cara untuk menyembunyikan halaman web anda daripada hasil carian Google. Amaran ini termasuk PDF dan format berasaskan teks lain yang disokong oleh Google. Jika halaman lain menghala ke halaman anda dengan teks deskriptif, Google masih boleh mengindeks URL tersebut tanpa melawat halaman itu. Ini bermakna halaman yang disekat dengan robots.txt masih mungkin muncul dalam hasil carian. Apabila ia muncul, hasil carian mungkin tidak mempunyai deskripsi. Selain itu, fail imej, video, PDF, dan fail bukan HTML lain yang terbenam dalam halaman yang disekat juga akan dikecualikan daripada crawler, kecuali fail tersebut dirujuk oleh halaman lain yang dibenarkan untuk dicrawl. Jika anda melihat hasil carian seperti ini dan mahu membetulkannya, langkahnya ialah membuang entri robots.txt yang menyekat halaman tersebut. Jika anda mahu menyembunyikan halaman sepenuhnya daripada Search, anda perlu menggunakan kaedah lain.

Apakah langkah robots.txt mengikut jenis fail?

Panduan membahagikan penggunaan robots.txt kepada beberapa jenis fail. Setiap jenis mempunyai fungsi berbeza.

Halaman web

• Gunakan robots.txt untuk HTML, PDF, atau format bukan media lain yang Google boleh baca.
• Gunakan untuk mengurus trafik crawler jika pelayan mungkin menerima terlalu banyak permintaan.
• Gunakan untuk mengelakkan crawler melawat halaman tidak penting atau serupa.
• Jangan guna untuk menyembunyikan halaman daripada hasil carian.
• Jika mahu sekat halaman daripada hasil carian, guna perlindungan kata laluan atau noindex.

Fail media

• Gunakan robots.txt untuk mengurus trafik crawler.
• Gunakan untuk menghalang fail imej, video, dan audio daripada muncul dalam hasil carian Google.
• Fahami bahawa ini tidak menghalang halaman atau pengguna lain daripada memaut ke fail imej, video, atau audio anda.

Fail sumber

• Boleh sekat fail sumber seperti imej, skrip, atau fail gaya yang tidak penting.
• Lakukan hanya jika halaman yang dimuatkan tanpa sumber tersebut tidak terjejas dengan ketara.
• Jangan sekat sumber jika ketiadaannya menjadikan halaman lebih sukar untuk crawler Google memahami halaman.
• Jika anda menyekat sumber yang penting untuk pemahaman halaman, Google tidak dapat menganalisis halaman yang bergantung pada sumber tersebut dengan baik.

Bagaimana langkah jika anda menggunakan CMS?

Jika anda menggunakan CMS, langkah anda mungkin berbeza. Panduan menyebut bahawa anda mungkin tidak perlu atau tidak boleh mengedit fail robots.txt secara langsung. Sebaliknya, CMS anda mungkin menyediakan halaman tetapan carian atau mekanisme lain untuk memberitahu enjin carian sama ada halaman boleh dicrawl atau tidak. Jika anda mahu menyembunyikan atau menunjukkan semula salah satu halaman anda kepada enjin carian, langkah yang disarankan ialah mencari arahan tentang mengubah keterlihatan halaman anda dalam enjin carian pada CMS anda. Contoh yang diberikan ialah mencari arahan seperti "wix hide page from search engines". Ini bermakna anda tidak semestinya perlu membuka fail robots.txt sendiri. Anda perlu memeriksa tetapan yang disediakan oleh platform anda. Tindakan ini mengikuti mekanisme yang memang disediakan untuk mengawal keterlihatan halaman.

Bagaimana langkah menyusun keutamaan penggunaan robots.txt?

Langkah keutamaan bermula dengan mengenal pasti masalah yang perlu diselesaikan. Jika masalah anda ialah pelayan menerima terlalu banyak permintaan daripada crawler Google, gunakan robots.txt untuk mengurus trafik crawler. Jika masalah anda ialah halaman tidak penting atau serupa, gunakan robots.txt untuk mengelakkan crawler melawat halaman tersebut. Jika masalah anda ialah halaman perlu disembunyikan daripada hasil carian, jangan bergantung pada robots.txt. Gunakan noindex atau perlindungan kata laluan. Jika masalah anda melibatkan fail media, gunakan robots.txt untuk menghalang imej, video, dan audio daripada muncul dalam hasil carian Google, sambil memahami pautan masih boleh berlaku. Jika masalah anda melibatkan fail sumber, sekat hanya sumber tidak penting yang tidak menjejaskan halaman. Jangan sekat sumber jika ketiadaannya menjadikan halaman lebih sukar difahami oleh crawler Google.

Bagaimana langkah memilih kaedah yang betul?

Langkah seterusnya ialah memilih kaedah yang betul berdasarkan matlamat anda. Jika matlamat anda ialah mengurus trafik crawler, robots.txt boleh menjadi pilihan. Jika matlamat anda ialah menghalang halaman daripada muncul dalam hasil carian, anda perlu menggunakan kaedah lain seperti noindex atau perlindungan kata laluan. Anda juga perlu mempertimbangkan jenis fail yang terlibat. Untuk halaman web, robots.txt tidak boleh diharapkan untuk menyembunyikan kandungan. Untuk fail media, ia boleh menghalang fail imej, video, dan audio daripada muncul dalam hasil carian Google, tetapi ia tidak menghalang pautan daripada halaman atau pengguna lain. Untuk fail sumber, anda perlu menilai sama ada kehilangan sumber itu memberi kesan ketara kepada halaman. Jika sumber itu membantu crawler memahami halaman, jangan sekatnya. Pemilihan kaedah yang betul bermula dengan soalan mudah: adakah anda mahu mengawal crawler, atau adakah anda mahu menghalang halaman daripada diindeks?

Apakah langkah semakan akhir sebelum mengubah robots.txt?

Langkah semakan akhir ialah memastikan anda tidak tersilap antara menyekat crawler dan menyembunyikan kandungan. Sebelum mengubah robots.txt, semak sama ada halaman yang ingin anda kawal itu perlu diurus trafiknya atau perlu dihalang daripada diindeks. Jika halaman itu disekat dengan robots.txt tetapi masih mempunyai pautan dari halaman lain dengan teks deskriptif, URL masih boleh muncul tanpa deskripsi. Jika anda melihat hasil carian tanpa deskripsi dan puncanya ialah sekatan robots.txt, buang entri yang menyekat halaman itu. Jika anda mahu halaman hilang sepenuhnya, gunakan kaedah lain. Semak juga fail media dan fail sumber secara berasingan. Untuk media, robots.txt boleh menghalang kemunculan dalam hasil carian Google, tetapi tidak menghentikan pautan. Untuk sumber, jangan sekat jika halaman sukar difahami tanpa sumber tersebut. Dengan semakan ini, anda menggunakan robots.txt sesuai dengan fungsinya.

Sumber

• https://developers.google.com/search/docs/crawling-indexing/robots/intro

Jika anda mahu menyemak laman anda sendiri dengan lebih tenang, anda boleh cuba SEO Panel Malaysia di https://seopanel.thalhah.my/.