robots.txt
Embed This Widget
Add the script tag and a data attribute to embed this widget.
Embed via iframe for maximum compatibility.
<iframe src="https://tldfyi.com/iframe/glossary/robots-txt/" width="420" height="400" frameborder="0" style="border:0;border-radius:10px;max-width:100%" loading="lazy"></iframe>Paste this URL in WordPress, Medium, or any oEmbed-compatible platform.
https://tldfyi.com/glossary/robots-txt/Add a dynamic SVG badge to your README or docs.
[](https://tldfyi.com/glossary/robots-txt/)Use the native HTML custom element.
Le robots.txt est un fichier texte brut placé à la racine d'un domaine (p. ex., example.com/robots.txt) qui indique aux robots d'exploration conformes quelles parties du site ils peuvent ou non accéder. Il utilise des directives du protocole d'exclusion des robots comme User-agent, Disallow et Allow. Bloquer des sections via robots.txt préserve le budget d'exploration pour les pages importantes, mais les pages bloquées ne peuvent pas être indexées même si elles ont des [[backlinks|backlinks]] — ce qui fait du sur-blocage une erreur SEO courante. Le fichier doit également déclarer l'emplacement du [[sitemap-domain|plan de site XML]] pour la découverte des robots.
Exemple
Adding 'Disallow: /admin/' to robots.txt prevents Google from crawling internal admin pages, while 'Sitemap: https://example.com/sitemap.xml' advertises the sitemap location to all crawlers.