скачивание robots.txt

УСТРАНЕНИЕ КОНКУРЕНТОВ. БЛОКИРОВКА ДОМЕНОВ, БЛОКИРОВКА ИНСТАГРАМ/ТЕЛЕГРАМ И ДРУГОЕ. ПРОВЕРЕННЫЙ СЕЛЛЕР.

НОВЫЕ ТОРГОВАЯ НОВОСТИ ЧАТ

Скрыть

		ANTICHAT > РАЗРАБОТКА > Для Администратора > Linux, Freebsd, *nix
скачивание robots.txt

Опции темы

Поиск в этой теме

Опции просмотра

23.11.2010, 21:20

absurdo

Постоянный

Регистрация: 22.03.2007

Сообщений: 317

С нами: 10072729

Репутация: 0

подскажите пожалуйста скрипт для решения такой задачи: есть файл со списком адресов сайтов, каждый сайт с новой строки, адрес начинается с http:// Нужно скачать файл robots.txt у каждого сайта, и сохранить с именем домена, например: mysiteru.txt (содержит robots.txt сайта mysite,ru), mysitecomua.txt (mysite.com.ua), subdomainmysitenet.txt (subdomain.mysite.net).

𝕏 Twitter Reddit Telegram Копировать ссылку

23.11.2010, 21:57

ask0n

Участник форума

Регистрация: 09.06.2009

Сообщений: 218

С нами: 8906674

Репутация: 0

Код:

cat filename | awk -F/ '{print $0" -O "$3}' | xargs -L1 wget

Это если в файле есть полный путь к robots.txt в URL, если нет, тогда так:

Код:

Код:

cat filename | awk -F/ '{print $0"/robots.txt -O "$3}' | xargs -L1 wget

24.11.2010, 14:38

absurdo

Постоянный

Регистрация: 22.03.2007

Сообщений: 317

С нами: 10072729

Репутация: 0

спасибо, на выходных будет доступ к никсу, попробую.

22.02.2011, 20:56

rayahari

Познающий

Регистрация: 14.12.2010

Сообщений: 83

С нами: 8109862

Репутация: 0

А в каком формате сохранить этот скрипт? Или каждый раз через терминал проганять?

24.02.2011, 13:11

absurdo

Постоянный

Регистрация: 22.03.2007

Сообщений: 317

С нами: 10072729

Репутация: 0

Цитата:

rayahari написал(а):

А в каком формате сохранить этот скрипт? Или каждый раз через терминал проганять?

в формате bash

« Предыдущая тема | Следующая тема »

Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)

Быстрый переход