 |
|
22.11.2012, 20:34
|
|
Познающий
Регистрация: 28.07.2010
Сообщений: 91
С нами:
8311286
Репутация:
48
|
|
Сообщение от DeepBlue7
Накатал небольшой, простенький парсер + чекер под эту тему...
URL File - файл, линки из которого парсить (например, DMOZ база с содержимым вида http://asda.net/
Save urls with defined domain to - куда сохранять результаты парсинга файла
Save urls with text found - куда сохранять результаты чека.
Domain - домен который парсить ( / - любой ).
Append to url - дописать что либо к url-кам в файл результата
Внизу - добавлять то, что искать (список страница.php, например : какой текст искать на странице при чеке)
При 400+ потоках работает стабильно.
Зависимости: .net 2.0
Линк: http://www.mediafire.com/?vt148ct89bv4b4p (v1.0, в архиве билды x86 / x64)
С потоками лучше не преувеличивать - можно урвать DNS-бан. Круто спасибо отличная вещь, правда сам еще не успел затестить, но судя по описанию это то, чего мне не хватало все это время.
|
|
|
23.11.2012, 15:25
|
|
Участник форума
Регистрация: 18.01.2012
Сообщений: 162
С нами:
7535126
Репутация:
1
|
|
Сообщение от DeepBlue7
Накатал небольшой, простенький парсер + чекер под эту тему...
URL File - файл, линки из которого парсить (например, DMOZ база с содержимым вида http://asda.net/
Save urls with defined domain to - куда сохранять результаты парсинга файла
Save urls with text found - куда сохранять результаты чека.
Domain - домен который парсить ( / - любой ).
Append to url - дописать что либо к url-кам в файл результата
Внизу - добавлять то, что искать (список страница.php, например : какой текст искать на странице при чеке)
При 400+ потоках работает стабильно.
Зависимости: .net 2.0
Линк: http://www.mediafire.com/?vt148ct89bv4b4p (v1.0, в архиве билды x86 / x64)
С потоками лучше не преувеличивать - можно урвать DNS-бан. Ребят кто успел затестить отпишитесь плз, а то вечером должен уже кодеру заказать....а щас к компу нету доступа.
Сможет прога
Работать по списку сайтов и к каждому подставлять до 10страниц и искать соответствующие им фразы?
|
|
|
|
23.11.2012, 15:56
|
|
Познающий
Регистрация: 02.01.2009
Сообщений: 90
С нами:
9134867
Репутация:
44
|
|
dorkInj юзать только на дедиках !!!!! Получил пиздюлей + слежение за своей айпишкой от прова, и это только за время тестов... Так что будьте очень осторожны.
blesse, может.
|
|
|
|
23.11.2012, 16:13
|
|
Участник форума
Регистрация: 18.01.2012
Сообщений: 162
С нами:
7535126
Репутация:
1
|
|
Сообщение от DeepBlue7
dorkInj юзать только на дедиках !!!!! Получил пиздюлей + слежение за своей айпишкой от прова, и это только за время тестов... Так что будьте очень осторожны.
blesse, может.
спасибо за прогу=).А что пров позвонил?пров крупный если не секрет кто?юзаю прогу от тс'а уже 2 недели проверил уже 2kk++ сайтов и ничего=)
|
|
|
|
23.11.2012, 16:23
|
|
Познающий
Регистрация: 02.01.2009
Сообщений: 90
С нами:
9134867
Репутация:
44
|
|
Провайдер не большой, но продвинутый...
|
|
|
|
23.11.2012, 16:46
|
|
Участник форума
Регистрация: 18.01.2012
Сообщений: 162
С нами:
7535126
Репутация:
1
|
|
Сообщение от DeepBlue7
dorkInj юзать только на дедиках !!!!! Получил пиздюлей + слежение за своей айпишкой от прова, и это только за время тестов... Так что будьте очень осторожны.
blesse, может.
слушай никак немогу разобраться а как сделать чтоб он не парсила? я ее и так готовый файл скармливаю
вида:
site1
site2
etc
задаю что и где искать запускаю в результате в:
Save urls with text found - куда сохранять результаты чека. --пусто
Save urls with defined domain to -- непонятная ахинея типо:
Код:
xhamster.com/user/video 1.cnm999.com/user/10008 paygo.17zhifu.com/user/10005 feedproxy.google.com/~r goodreads.com/user/show journeyplanner.tfl.gov.uk/user/XSLT_TRIP_REQUEST2 multiply.com/user/signout toolserver.org/~geohack youtube.com/user/movies mail.qip.ru/~Inbox issuu.com/user/upload slovari.yandex.ru/~%D0%BA%D0%BD%D0%B8%D0%B3%D0%B8 ent.babytree.com/user/ask wenku.baidu.com/user/index chiark.greenend.org.uk/~sgtatham manhunt.net/user/logout
как запускаю:
|
|
|
|
23.11.2012, 16:58
|
|
Познающий
Регистрация: 02.01.2009
Сообщений: 90
С нами:
9134867
Репутация:
44
|
|
Входной файл должен быть (в твоём случае) в виде
http://site1.com/
http://site2.com/
В следующей версии добавлю возможность вообще отрубить парсинг. А так - формат входного файла как я упомянул выше.
Domain - /
И добавляя что искать, учитывай что линки изначально будут с слешем в конце ( http://test.com/ ), так что добавлять надо, например,
phpmyadmin/index.php pma_blabllba_asdas
а не /phpmyadmin/index.php
|
|
|
|
23.11.2012, 17:24
|
|
Участник форума
Регистрация: 18.01.2012
Сообщений: 162
С нами:
7535126
Репутация:
1
|
|
Сообщение от DeepBlue7
Входной файл должен быть (в твоём случае) в виде
http://site1.com/
http://site2.com/
В следующей версии добавлю возможность вообще отрубить парсинг. А так - формат входного файла как я упомянул выше.
Domain - /
И добавляя что искать, учитывай что линки изначально будут с слешем в конце ( http://test.com/ ), так что добавлять надо, например,
phpmyadmin/index.php pma_blabllba_asdas
а не /phpmyadmin/index.php
ну малех разобрался терь трабла-толи она пропускает гуды толи я хз че:
скормил список
Код:
http://lareclame.fr/
http://sarah-neuber.de/
http://weelicious.com/
http://upscalehype.com/
http://cobrasmarketview.com/
http://templategets.com/
http://port25.com/
http://metalitalia.com/
http://megaskanks.com/
условие искать в wp-login.php что искать- wordpress
выдает
Код:
Thread -> on range [5 - 10] Threads started ! Found -> http://port25.com/wp-login.php Found -> http://megaskanks.com/wp-login.php
хотя в других фаза тоже присутствует.
|
|
|
|
24.11.2012, 03:56
|
|
Познающий
Регистрация: 02.01.2009
Сообщений: 90
С нами:
9134867
Репутация:
44
|
|
- Формально можно отключить парсинг
- Фикс проблемы с возможным пропуском первых пяти url
- Фикс поиска множественных дорков на одном url
- Добавлены user agents (useragents.txt)
Линк: http://www.multiupload.nl/7P0MF606J8
blesse, юзай фикшеную версию + удостоверься что у тебя там пробелов нет в урлах (на нонцах, в начале).
|
|
|
|
24.11.2012, 11:00
|
|
Участник форума
Регистрация: 18.01.2012
Сообщений: 162
С нами:
7535126
Репутация:
1
|
|
Сообщение от DeepBlue7
- Формально можно отключить парсинг
- Фикс проблемы с возможным пропуском первых пяти url
- Фикс поиска множественных дорков на одном url
- Добавлены user agents (useragents.txt)
Линк: http://www.multiupload.nl/7P0MF606J8
blesse, юзай фикшеную версию + удостоверься что у тебя там пробелов нет в урлах (на нонцах, в начале).
затестил, суютвация маленько лучше стала:
скормил тот же список (пробелов точно нету нигде, условие тоже в wp-login.php искать wordpress)
PHP код:
[COLOR="#000000"][COLOR="#0000BB"]http[/COLOR][COLOR="#007700"]:[/COLOR][COLOR="#FF8000"]//lareclame.fr/
[/COLOR][COLOR="#0000BB"]http[/COLOR][COLOR="#007700"]:[/COLOR][COLOR="#FF8000"]//sarah-neuber.de/
[/COLOR][COLOR="#0000BB"]http[/COLOR][COLOR="#007700"]:[/COLOR][COLOR="#FF8000"]//weelicious.com/
[/COLOR][COLOR="#0000BB"]http[/COLOR][COLOR="#007700"]:[/COLOR][COLOR="#FF8000"]//upscalehype.com/
[/COLOR][COLOR="#0000BB"]http[/COLOR][COLOR="#007700"]:[/COLOR][COLOR="#FF8000"]//cobrasmarketview.com/
[/COLOR][COLOR="#0000BB"]http[/COLOR][COLOR="#007700"]:[/COLOR][COLOR="#FF8000"]//templategets.com/
[/COLOR][COLOR="#0000BB"]http[/COLOR][COLOR="#007700"]:[/COLOR][COLOR="#FF8000"]//port25.com/
[/COLOR][COLOR="#0000BB"]http[/COLOR][COLOR="#007700"]:[/COLOR][COLOR="#FF8000"]//metalitalia.com/
[/COLOR][COLOR="#0000BB"]http[/COLOR][COLOR="#007700"]:[/COLOR][COLOR="#FF8000"]//megaskanks.com/[/COLOR][/COLOR]
по итогам пропустила:
Код:
http://weelicious.com/ тут действительно нету
http://templategets.com/ тут есть
http://metalitalia.com/ и тут есть
еще маленький баг , пока не укажешь файлик-Save urls with defined domain to ,наотрез отказывает запускаться хоть влючай хоть отключай парсинг=)
И еще вопрос она ищет с учетом регистра или нет?
|
|
|
|
|
|
|
|
Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
|
|
|
|
Линейный вид
