Как и чем собрать больше 1k доменов общей тематики (способ новичка).

19.11.2017, 03:25

ckpunmkug

Guest

Сообщений: n/a

Провел на форуме:
11136

Репутация: 8

Хотел собрать по теме 10k уникальных имён, но насобиралось 5.5k доменов и 1.5k запросов связаных с ключевым словом. Для старта поиска я использовал одно слово, остальные запросы подсказал google. Скажу сразу: "Процесс 3a:E6blBaeT" потому что много копипаста, но есть два плюса: первый - google не верищит что ты робот и не банит твой ip, второй - выработался алгоритм плавной выгрузки выдачи, который с помощью vnc можно автоматизировать.

У меня нет американских прокси для гугла, поэтому в настройках поисковика я переключил язык на английский и выбрал регион United State. Если хотите поискать на картинках автомобили, дорожные знаки или мосты выбирайте "выдавать 100"; 1k доменов махом наберёте.

Процесс получения доменов и запросов прост и банален: Делаем запрос, сохраняем результат, парсим результат, получаем домены и следующие запросы. Что бы парсить результат я написал скрипт, он обрабатывает страницы сохранёные firefox'ом как Text File. Интересное наблюдение: когда firefox сохраняет файл в виде html он его заново загружает и результат выдачи другой, но если сохранять как текстовый файл, то текст формируется из уже загруженной страницы.

Скрипты необходимые для сбора https://github.com/ckpunmkug/tools/tree/v0001

tools/functions/google/parse_google_text_page.php - функция которая парсит файл сохранёный firefox'ом как текст.

Код:

Code:
 Array
        (
            [0] => https://en.wikipedia.org/wiki/Example_(musician)
            [1] => http://www.thesaurus.com/browse/example
            [2] => http://www.dictionary.com/browse/example
            [3] => https://dictionary.cambridge.org/dictionary/english/example
            [4] => https://www.merriam-webster.com/dictionary/example
            [5] => https://www.macmillandictionary.com/dictionary/british/example
            [6] => https://en.oxforddictionaries.com/definition/example
            [7] => https://en.wiktionary.org/wiki/example
            [8] => http://www.trythisforexample.com/
            [9] => https://www.collinsdictionary.com/dictionary/english/example
            [10] => http://writing2.richmond.edu/writing/wweb/trans1.html
            [11] => https://www.thoughtco.com/word-english-language-1692612
            [12] => http://examples.yourdictionary.com/examples-of-antonyms-synonyms-and-homonyms.html
            [13] => http://www.yourdictionary.com/example
        )

    [related] => Array
        (
            [0] => example definition
            [1] => example thesaurus
            [2] => example o
            [3] => example rapper
            [4] => example eg
            [5] => example short form
            [6] => erin mcnaught
            [7] => example pronunciation
        )

)
*/

tools/google_text_page_parser.php dir_name - скрипт обрабатывает файлы лежащие в dir_name и выдаёт обработанные данные в виде списка с отчётом о количестве собраного материала.

Код:

Code:
/tools/google_text_page_parser.php /tmp/example
Unique domain names : 14

Domain names top list
0001 en.wikipedia.org
0001 www.thesaurus.com
0001 www.dictionary.com
0001 dictionary.cambridge.org
0001 www.merriam-webster.com
0001 www.macmillandictionary.com
0001 en.oxforddictionaries.com
0001 en.wiktionary.org
0001 www.trythisforexample.com
0001 www.collinsdictionary.com
0001 writing2.richmond.edu
0001 www.thoughtco.com
0001 examples.yourdictionary.com
0001 www.yourdictionary.com

Unique queries : 8

Searches related top list
0001 example definition
0001 example thesaurus
0001 example o
0001 example rapper
0001 example eg
0001 example short form
0001 erin mcnaught
0001 example pronunciation

ANTICHAT — форум по информационной безопасности, OSINT и технологиям