![]() |
Доброго времени суток!
Есть необходимость отправить на сайт, находящийся на виртуальном хостинге masterhost, порядка 100 млн. POST-запросов и определенным образом зафиксировать результат. Написал php-скрипт, осуществляющий перебор, однако возникла проблема со скоростью: fsockopen() работает медленно, порядка 0.2-0.3 секунды на запрос, даже если в открытый сокет послать пачку запросов, и уже после принимать результат При использовании curl результат более приемлемый, при работе в 2 потока на запрос уходит порядка 0.03 секунды, однако процесс периодически залипает на несколько секунд. Если использовать больше потоков - валится сайт с ошибкой 503. Возможно есть какой-то более быстрый способ? Для фиксации результата можно использовать только заголовки, однако при использовании HEAD-запроса невозможно отправить данные через POST. Обрезать размер получаемых данных через curl также не представляется возможным - сервер не возвращает длину контента, поэтому ограничение CONTENT_LENGTH не работает. Буду признателен за советы! |
Цель какая преследуется?
Если нужно слить инфу например через скул инъекцию, тогда сложно что-то придумать если сайт падает с двух потоков (если бы не падал, можно было например запустить распределенный дамп с 10-100 серверов, и слать результаты на один), если тебе важно получить ответ от сервера, тогда ускорить процесс можно только многопоточностью. Да даже если цель какая-то другая, ты можешь уронить сервак (читай как задидосить) своими запросами. |
Цель именно получить информацию, т.е. ответ сервера на каждый из посылаемых запросов.
В моем случае, в ответ на каждый запрос возвращается полный код страницы, но достаточно будет только получить заголовки ответа. Если есть способ получить только заголовки в ответ на POST-запрос, думаю это позволит ускорить перебор, по крайней мере будет не так забивать канал. |
PHP код:
|
Увы, такой вариант пробовал - CURLOPT_NOBODY не работает вместе с POST, т.е. при
curl_setopt($curl, CURLOPT_NOBODY, 1); посылается HEAD-запрос, несмотря на то, что отмечен CURLOPT_POST |
Собственно я так и не понял, что именно не работает?
|
Скрипт на сайте, к которому обращается наш скрипт, принимает данные только через метод POST
Если использовать Вашу функцию: PHP код:
А в описании протокола http говорится, что метод HEAD во всем идентичен методу GET, за исключением одного - ответ на HEAD-запрос не содержит тела сообщения, только заголовки. Таким образом, если отметить CURLOPT_NOBODY, то параметры запроса будут посланы методом GET, и целевой скрипт их не обработает => не возвратит нужный результат. Доказано опытным путем ) |
1. Уверен, при наличии любого GET параметра возвращает 404
2. Пробовал - увы, разница даже если и есть, то практически незаметна |
А что fsockopen работает медленнее чем curl?
|
Да, в моем случае один запрос через curl выполняется быстрее на порядок чем через fsockopen
|
| Время: 10:15 |