Tutorial pemakaian Robotxt
Robottxt adalah file text yang digunakan di webhosting untuk mengatur mana folder atau bagian dari website yang boleh dan tidak boleh diakses oleh Mesin pencari. Â Robottxt sangat bermanfaat untuk menjaga conent content sensitif muncul di hasil pencarian. Contoh real adalah kita tidak membolehkan Crawler mesin pencari untuk mengakses folder admin, atau mengakses folder digital content…