УСТРАНЕНИЕ КОНКУРЕНТОВ. БЛОКИРОВКА ДОМЕНОВ, БЛОКИРОВКА ИНСТАГРАМ/ТЕЛЕГРАМ И ДРУГОЕ. ПРОВЕРЕННЫЙ СЕЛЛЕР.

ANTICHAT — форум по информационной безопасности, OSINT и технологиям

ANTICHAT — русскоязычное сообщество по безопасности, OSINT и программированию. Форум ранее работал на доменах antichat.ru, antichat.com и antichat.club, и теперь снова доступен на новом адресе — forum.antichat.xyz.
Форум восстановлен и продолжает развитие: доступны архивные темы, добавляются новые обсуждения и материалы.
⚠️ Старые аккаунты восстановить невозможно — необходимо зарегистрироваться заново.

		Форум АНТИЧАТ > БЕЗОПАСНОСТЬ И УЯЗВИМОСТИ > Песочница
скрэппинг БД

Опции темы

Поиск в этой теме

Опции просмотра

16.08.2016, 07:00

justX

Guest

Сообщений: n/a

Провел на форуме:
583

Репутация: 0

есть сайт, при определенном запросе на который, возвращается json. что бы собрать все данные необходимо около 4-ех миллионов запросов. Особо не шаря в теме, начал делать на node.js.

запрос => ответ => запись в базу.

На n-ом запросе вместо данных приходят ответы с текстом "spam" (не удивительно). Смотрел в сторону change tor circuit, но там вроде тоже ограничение в 10-30 секунд между сменами. Какие мысли есть? Как реализовать смену ip или что то подобное каждые n запросов дабы обойти это ограничение?

16.08.2016, 11:55

Absurd

Guest

Сообщений: n/a

Провел на форуме:
3734

Репутация: 0

Собственно, а в чём вопрос-то? Как сменить IP?...через прокси есессно

17.08.2016, 12:28

DarkCaT

Guest

Сообщений: n/a

Провел на форуме:
11384

Репутация: 17

Цитата:

Сообщение от justX

justX said:
↑
есть сайт, при определенном запросе на который, возвращается json. что бы собрать все данные необходимо около 4-ех миллионов запросов. Особо не шаря в теме, начал делать на node.js.
запрос => ответ => запись в базу.
На n-ом запросе вместо данных приходят ответы с текстом "spam" (не удивительно). Смотрел в сторону change tor circuit, но там вроде тоже ограничение в 10-30 секунд между сменами. Какие мысли есть? Как реализовать смену ip или что то подобное каждые n запросов дабы обойти это ограничение?

Набери кучу проксей и меняй их по кругу, либо можно использовать тор подняв там контрол порт и используя команду NEWNYM которая будет тебе пересоздавать цепочку. Подробнее можешь почитать тут :

https://gitweb.torproject.org/torspe...-spec.txt#n398

« Предыдущая тема | Следующая тема »

Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)

Быстрый переход