[Utility] 검색사이트에서 검색되게 하기 (3. 네이버 서치 어드바이저 - robots.txt 설정하기)

robots.txt 는 크롤링 할 때 행동방침 같은거라고 하네요.
크롤러가 서버에 부하를 주지 않는다고도 하네요.