Robots.txt: Perbedaan antara revisi
Konten dihapus Konten ditambahkan
Tag: Pembatalan |
Tidak ada ringkasan suntingan Tag: VisualEditor Suntingan perangkat seluler Suntingan peramban seluler |
||
| Baris 1: | Baris 1: | ||
{{Orphan|date=September 2016}} |
{{Orphan|date=September 2016}} |
||
'''Standar pengecualian robot''' , juga dikenal sebagai '''protokol pengecualian robot''' atau '''protokol robots.txt''', adalah sebuah ketentuan untuk mencegah ''web crawler'' dan robot web lain, dari pengaksesan seluruh atau sebagian [[situs web]]. Robot ini berguna untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider [[mesin pencari]], atau situs jejaring sosial seperti [[Friendster]], |
'''Standar pengecualian robot''' , juga dikenal sebagai '''protokol pengecualian robot''' atau '''protokol robots.txt''', adalah sebuah ketentuan untuk mencegah ''web crawler'' dan robot web lain, dari pengaksesan seluruh atau sebagian [[situs web]]. Robot ini berguna untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider [[mesin pencari]], atau situs jejaring sosial seperti [[Friendster]], Facebook, dan [[Twitter]]. |
||
Penemu "robots.txt" adalah Martijn Koster, saat bekerja di [[WebCrawler]] pada tahun 1994.<ref>[http://www.robotstxt.org/orig.html#status The Web Robots Pages]</ref> |
Penemu "robots.txt" adalah Martijn Koster, saat bekerja di [[WebCrawler]] pada tahun 1994.<ref>[http://www.robotstxt.org/orig.html#status The Web Robots Pages]</ref> |
||
Revisi per 19 Juli 2018 16.53
 | Artikel ini sebatang kara, artinya tidak ada artikel lain yang memiliki pranala balik ke halaman ini. Bantulah menambah pranala ke artikel ini dari artikel yang berhubungan atau coba peralatan pencari pranala. Tag ini diberikan pada September 2016. |
Standar pengecualian robot , juga dikenal sebagai protokol pengecualian robot atau protokol robots.txt, adalah sebuah ketentuan untuk mencegah web crawler dan robot web lain, dari pengaksesan seluruh atau sebagian situs web. Robot ini berguna untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider mesin pencari, atau situs jejaring sosial seperti Friendster, Facebook, dan Twitter.
Penemu "robots.txt" adalah Martijn Koster, saat bekerja di WebCrawler pada tahun 1994.[1]
Catatan kaki
Pranala luar
- History of robots.txt -(how Charles Stross prompted its invention; original comment on Slashdot)
- Robots Exclusion
- Using the robots.txt analysis tool
- Introduction to Robots.txt file
- About Robots.txt at the Mediawiki website
- List of Bad Bots - rogue robots and spiders which ignore these guidelines
- More info about Robots.txt
- Wikipedia's Robots.txt - an example
- Robots.txt Generator + Tutorial
- Robots.txt Generator Tool
 | Artikel bertopik komputer ini adalah sebuah rintisan. Anda dapat membantu Wikipedia dengan mengembangkannya. |