|

Tutorial pemakaian Robotxt

ByCandra Adi Putra

Robottxt adalah file text yang digunakan di webhosting untuk mengatur mana folder atau bagian dari website yang boleh dan tidak boleh diakses oleh Mesin pencari.  Robottxt sangat bermanfaat untuk menjaga conent content sensitif muncul di hasil pencarian. Contoh real adalah kita tidak membolehkan Crawler mesin pencari untuk mengakses folder admin, atau mengakses folder digital content…