На сайте madnet.name/tools/madss/
есть такая штука что забиваешь туда сайт а он тебе высвечивает нектрые файлы которые доступны для просмотра (думаю поняли мою мысль)
Так вот как интересует откуда он это берет? (точнее откуда грабит)

Данный сервис предназначен для определения структуры сайта. Часто приходится пользоватся различными сканнерами для определения структуры сайта, но мы забываем, что в 99% случаев до нас это сделал лучший сервис сети, великий и могучий GOOGLE, причем частенько он запоминает то, до чего смертному просто так не добраться. Моя система пытаетсы вытянуть максимум информации о сайте из гугла и построить на ее основе дерево сайта, утилита так же будет полезна web программистам для анализа индексации сайта гуглом.