robots.txt
Embed This Widget
Add the script tag and a data attribute to embed this widget.
Embed via iframe for maximum compatibility.
<iframe src="https://tldfyi.com/iframe/glossary/robots-txt/" width="420" height="400" frameborder="0" style="border:0;border-radius:10px;max-width:100%" loading="lazy"></iframe>Paste this URL in WordPress, Medium, or any oEmbed-compatible platform.
https://tldfyi.com/glossary/robots-txt/Add a dynamic SVG badge to your README or docs.
[](https://tldfyi.com/glossary/robots-txt/)Use the native HTML custom element.
robots.txt는 도메인 루트(예: example.com/robots.txt)에 위치한 일반 텍스트 파일로, 준수하는 웹 크롤러에게 사이트의 어느 부분에 접근할 수 있는지를 알려줍니다. User-agent, Disallow, Allow와 같은 로봇 배제 프로토콜 지시어를 사용합니다. robots.txt를 통해 섹션을 차단하면 중요한 페이지를 위한 크롤 예산을 절약할 수 있지만, 차단된 페이지는 [[backlinks|백링크]]가 있어도 색인될 수 없어 과도한 차단이 일반적인 SEO 실수가 됩니다. 이 파일에는 크롤러가 발견할 수 있도록 [[sitemap-domain|XML 사이트맵]]의 위치도 선언해야 합니다.
예시
Adding 'Disallow: /admin/' to robots.txt prevents Google from crawling internal admin pages, while 'Sitemap: https://example.com/sitemap.xml' advertises the sitemap location to all crawlers.