반응형
robots.txt 는 크롤링 할 때 행동방침 같은거라고 하네요.
크롤러가 서버에 부하를 주지 않는다고도 하네요.
반응형
'Utility' 카테고리의 다른 글
| [Utility] 검색사이트에서 검색되게 하기 (2. google search console - meta 정보 다시 확인) (0) | 2024.01.08 |
|---|---|
| [Utility] google search console 문제 (발견됨 - 현재 색인이 생성되지 않음) (1) | 2024.01.08 |
| [Utility] google search console 문제 (적절한 표준 태그가 포함된 대체 페이지) (0) | 2024.01.08 |
| [Utility] 검색사이트에서 검색되게 하기 (3. 네이버 서치 어드바이저) (0) | 2024.01.07 |
| [Utility] 검색사이트에서 검색되게 하기 (2. google search console) (0) | 2024.01.06 |