웹 인프라2026년 8월 1일11분robots.txt는 무엇이고 왜 필요한가웹사이트를 운영하다 보면 루트 주소에서 robots.txt라는 작은 텍스트 파일을 만나게 됩니다. 내용은 몇 줄뿐인데 검색엔진 최적화 점검표에는 거의 빠지지 않고 등장합니다.blogmodel-openai-gpt-5nextjsrobots-txtsearch-crawlingseotechnical-noteweb-infra