robots.txt
Embed This Widget
Add the script tag and a data attribute to embed this widget.
Embed via iframe for maximum compatibility.
<iframe src="https://tldfyi.com/iframe/glossary/robots-txt/" width="420" height="400" frameborder="0" style="border:0;border-radius:10px;max-width:100%" loading="lazy"></iframe>Paste this URL in WordPress, Medium, or any oEmbed-compatible platform.
https://tldfyi.com/glossary/robots-txt/Add a dynamic SVG badge to your README or docs.
[](https://tldfyi.com/glossary/robots-txt/)Use the native HTML custom element.
robots.txt ist eine Klartextdatei im Stammverzeichnis einer Domain (z. B. example.com/robots.txt), die konformen Web-Crawlern mitteilt, welche Teile der Website sie aufrufen dürfen oder nicht. Sie verwendet Direktiven des Robots Exclusion Protocol wie User-agent, Disallow und Allow. Das Blockieren von Bereichen über robots.txt spart Crawl-Budget für wichtige Seiten, aber blockierte Seiten können auch mit [[backlinks|Backlinks]] nicht indexiert werden — weshalb übermäßiges Blockieren ein häufiger SEO-Fehler ist. Die Datei sollte auch den Speicherort der [[sitemap-domain|XML-Sitemap]] für die Crawler-Entdeckung angeben.
Beispiel
Adding 'Disallow: /admin/' to robots.txt prevents Google from crawling internal admin pages, while 'Sitemap: https://example.com/sitemap.xml' advertises the sitemap location to all crawlers.