robots.txt
Embed This Widget
Add the script tag and a data attribute to embed this widget.
Embed via iframe for maximum compatibility.
<iframe src="https://tldfyi.com/iframe/glossary/robots-txt/" width="420" height="400" frameborder="0" style="border:0;border-radius:10px;max-width:100%" loading="lazy"></iframe>Paste this URL in WordPress, Medium, or any oEmbed-compatible platform.
https://tldfyi.com/glossary/robots-txt/Add a dynamic SVG badge to your README or docs.
[](https://tldfyi.com/glossary/robots-txt/)Use the native HTML custom element.
robots.txt एक साधारण टेक्स्ट फ़ाइल है जो डोमेन के रूट (जैसे example.com/robots.txt) पर रखी जाती है और अनुपालन करने वाले वेब क्रॉलर को बताती है कि वे साइट के किन हिस्सों तक पहुंच सकते हैं या नहीं। यह User-agent, Disallow और Allow जैसे रोबोट्स एक्सक्लूज़न प्रोटोकॉल निर्देशों का उपयोग करती है। robots.txt के माध्यम से सेक्शन को ब्लॉक करने से महत्वपूर्ण पेजों के लिए क्रॉल बजट बचता है, लेकिन ब्लॉक किए गए पेजों को [[backlinks|बैकलिंक]] होने पर भी इंडेक्स नहीं किया जा सकता — इसलिए अत्यधिक ब्लॉकिंग एक सामान्य SEO गलती है। फ़ाइल को क्रॉलर खोज के लिए [[sitemap-domain|XML साइटमैप]] के स्थान की भी घोषणा करनी चाहिए।
उदाहरण
Adding 'Disallow: /admin/' to robots.txt prevents Google from crawling internal admin pages, while 'Sitemap: https://example.com/sitemap.xml' advertises the sitemap location to all crawlers.