|
madSS - madnet site structure | Сканнер структуры сайта.
Данный сервис предназначен для определения структуры сайта. Часто приходится пользоваться различными сканнерами для определения структуры сайта, но мы забываем, что в 99% случаев до нас это сделал лучший сервис сети, великий и могучий GOOGLE, причем частенько он запоминает то, до чего смертному просто так не добраться. Моя система пытается вытянуть максимум информации о сайте из гугла и построить на ее основе дерево сайта, утилита так же будет полезна web программистам для анализа индексации сайта гуглом.
http://madnet.name/news/19.html P/S сразу уточню что это альфа версия. UPDATED Логическим продолжением madSS - madnet site structure стал переход его в GmadS – Google madnet Scaner Обуславливается это новыми возможностями системы, а именно: 1) Поиск доступной для просмотра PHPINFO информации 2) Вывод директорий сайта, запрещенных к индексированию 3) Вывод списка Сайтов на сервере aka (ReverseIP) линк тот же. |
Спасибо как всегда радуешь нас.
исходники будут? |
http://tools.webmasters.sk/sitemap-creator.php
|
идея конечно ничего... но дорабатывать нужно... вот еще бы помимо гугла еще что нибудь... а то стата маленькая получаеться.
|
2cash,
доведу до ума, а там наверняка 2tclover, здесь сервак сам сканит сайт, хотел бы я посмотреть как он просканит скажем 1к страниц + русский чет он никак |
Да нормально вроде с русским :)
http://img157.imageshack.us/img157/2343/capture1mu0.jpg |
Хорошо.
Следующий шаг - добавить к каждой вершине дерева (goto) |
madnet 5 баллов!
Хорошо бы бруттер директорий добавить для полного комплекта) |
Цитата:
|
Цитата:
|
Цитата:
|
хотя бы в том, что http://tools.webmasters.sk тупо сканит ресурс, и если нет ссылки на какую-то страницу, то она никогда не появится в результатах, а мой сервис работает с гуглом, который за долгую историю скана собирает много инфы о сайте, к тому же логично что скорасть работы обсалюто отличается, у меня гинерится красивое дерево, а там х3, там не понимает русский язык, к томуж на моем сате тот сервис нашел 20 удаленный страниц, хех у меня всего столько, делаем вывод что криво он работает и т.д. и т.п.
|
Цитата:
Там - робот, который шастая показывает as is. У тебя тулза, которая, используя кэши гугла позволяет построить не только as is по тому что нашастал гугловый робот, но и то что было раньше - это и будет чисто твоя фишка. Нужно будет только научиться отличать старое от нового и получить что-то типа 1 site.net --1 index.html [ver. -1] [ver. -2] ... --2 ... --3 ... Дальше, раз у тебя есть уже механизм запросов можно дёшево и сердито прикрутить форму "Искать в гугле для каждого листа дерева" и показать результаты в этих самых листах. Какие у тебя самого мысли о накручивании фич? |
Упор делаю на поиск дыр, поэтому различать старое и новое особого смысла не вижу, а по поводу фич что-нить, типа поиска раскрытия пути посредством гугла, запрещеных дир пр роботс.тхт и т.п. толком не определился пока.
|
Цитата:
А вот сам роботс.тхт кстати можно было бы распарсить - вдруг там что интересное (отметить на дереве ветки, запрещенные к показу) кстати кроме роботс.тхт в твоем методе выпадают ещё страницы потэженые как запрещенные к индексированию http://www.webmascon.com/topics/adv/8a.asp (см. ближе к концу) |
Цитата:
|
Просто красота :-)
Будем ждать исходников от всего серца и души :d |
Обновил сканнер, подробности в 1м посте.
|
Хорошая штука =) Надо только цвет шрифта поменять, пока приходится ctrl+a нажимать чтоб читабельно было, и в дизайн список не вписывается (размером - но это мелочи ))
Даешь open source ! :D ++ |
sergeich
юзай ie. тогда все будет вписываться. |
sergeich, какой браузер?
|
madnet
FireFox 2.0.0.3 [ cash ] К IE доверия нет ;) |
|
Цитата:
Цитата:
|
Цитата:
http://img149.imageshack.us/img149/449/10921092vz7.png |
глюк в мозилле..
http://img296.imageshack.us/img296/558/madnetmq5.gif |
Подправил некоторые мелочи +
Добавил -вывод основного Ip -страну -Версию демона, возвращаемого сервером. |
Хех)) Вот чё твоим скриптом нашёл интересненького :)
http://ya.ru/robots.txt http://google.com/robots.txt |
Сделай форматирование ссылок получше и будет ВО!
|
У не работает на сайтах с низкой посещаемостью и "замороженых"...
_http://bonchbrubonch.ru/ |
Цитата:
|
Цитата:
|
не знаю что он имел в виду)Но
у тебя там дерево выводится было удобно чтобы можно было нажать мышкой на и перейти страницу в этом дереве. dtree там вроде легко будет это сделать |
да только все рефферы будут идти с сайта madnet.. я ему такая популярность незачем.
имхо: если сильно надо то сделать рядом текстовое представление ссылки на ресурс З.Ы. за тузлу респект :)) но есть недочеты.. например пишет иногда что файл это папка.. как на самом деле нет |
вообще-то можно сделать и без реферера.
|
Исправил проблему с отображением в FireFox
|
Цитата:
А так же добавил поддержку буржуйского языка. |
Рульная штука. Из нее я узнал что гугль по моему сайту плохо прошелся.
только несколько папок и то самые редкооткрываемые... 2madnet округлил репутацию (+) =) |
при сканировании сайта hexxgames.ru невыдает некоторые расширения, например:
faq. index. index.php login. memberlist. profile.php search. search.php viewforum. viewonline. viewtopic. |
Кроме всего можно сдеоать потск и по Yandex
он тоже потдерживает дополнительные параметры поиска такиеже как и гугл |
| Время: 01:35 |