이번에도 이 페이지에는 아무것도 존재하지 않는다고 써있다. 페이지 소스를 보았더니, 구글에도 찾을 수 없다고 주석으로 힌트를 주었다. 이 부분이 검색엔진인 구글이 차단하는 것이 아닐까 검색엔진 차단하는 방법을 찾아보았다. robots.txt 파일은 검색엔진이 내용을 보지 못하게 막아놓습니다. 이런 점을 이용해서 해당 natas페이지에도 robots.txt파일이 존재하는지 확인해보았습니다.
[robots.txt 동작]
웹 봇이 웹 페이지를 돌아다니면서 정보를 수집하는데, robotx.txt 파일안에 허용안할 내용을 추가하게 되면 먼저 웹 봇이 이 파일을 보고 허용안할 내용을 빼고 수집합니다. 요새는 이 파일을 역으로 해킹할 수 있어 보안상 취약점이 존재해 쓰지 않는다.
[robots.txt 문법 설명]
- User-agent : 일반적으로 robot이 해당 웹 사이트를 검색할 때 사용하는 user-agent 정보를 확인합니다.
각 웹 사이트마다 user-agent가 존재합니다. ex) Google 같은 경우 User-agent : Googlebot
- Disallow : /directory_name/ : 해당 디렉터리만 접근을 거부
- Allow : /directory_name/ : 해당 디렉터리만 접근을 허가
[robots.txt 확인방법]
- ex) www.naver.com/robots.txt 이런식으로 해당 url 다음에 robots.txt파일을 통해서 robots.txt 파일에 접근이 가능합니다.
확인 결과 user-agent에는 모든 user-agent 형태로 설정해놓았고, Disallow로 /s3cr3t 를 검색하지 못하게 막아놓았다. 이 부분으로 들어갔더니 users.txt파일이 존재한다. 그 파일 안으로 들어가면 Natas4의 비밀번호을 적어놓은 것을 볼 수 있습니다.
