Robots.txt

Standar pengecualian robot adalah file teks yang disimpan dalam direktori root situs yang menceritakan Crawler mesin pencari situs yang halaman dan sub-folder tidak boleh disertakan dalam mesin pencarian Indeks. Situs ini berguna untuk mengontrol halaman-halaman tertentu agar diindex oleh spider mesin pencari, atau untuk mengatur bagian-bagian tertentu supaya tidak diindex oleh search engine seperti Friendster, Facebook, Twitter dan situs jejaring sosial lainnya.

Pranala luar

• History of robots.txt -(how Charles Stross prompted its invention; original comment on Slashdot)
• Robots Exclusion
• Using the robots.txt analysis tool
• Introduction to Robots.txt file
• About Robots.txt at the Mediawiki website
• List of Bad Bots - rogue robots and spiders which ignore these guidelines
• More info about Robots.txt
• Wikipedia's Robots.txt - an example
• Robots.txt Generator + Tutorial
• Robots.txt Generator Tool