ThalhahBot

ThalhahBot ialah crawler yang membina index pautan laman web Malaysia untuk analisis SEO: halaman mana memaut ke halaman mana, supaya pemilik laman boleh melihat backlink mereka.

Apa yang dilakukan

• Membaca dan mematuhi robots.txt, termasuk Crawl-delay.
• Sela lalai 30 saat antara permintaan bagi setiap laman; sela sebenar mengikut konfigurasi dan Crawl-delay, dan berundur apabila laman sibuk (429/503).
• Hanya halaman awam. Tiada log masuk, borang, kuki, atau data peribadi.
• Yang disimpan: URL, tajuk halaman, bahasa, dan pautan keluar. Kandungan penuh halaman tidak disimpan.

Cara menyekat

Tambah dalam robots.txt laman anda:

User-agent: ThalhahBot
Disallow: /

Perubahan diambil kira dalam masa 24 jam. Atau emel contact@thalhah.my dan kami akan menyekat domain anda sepenuhnya.

---

ThalhahBot builds a link index of Malaysian websites for SEO analysis. It obeys robots.txt and Crawl-delay, uses a default 30-second delay per site (actual delay follows configuration and Crawl-delay), reads public pages only, and stores URLs, titles and links, never page bodies or personal data. To block it, add User-agent: ThalhahBot / Disallow: / to your robots.txt.