
23.11.2010, 21:20
|
|
Постоянный
Регистрация: 22.03.2007
Сообщений: 317
С нами:
10072729
Репутация:
0
|
|
подскажите пожалуйста скрипт для решения такой задачи: есть файл со списком адресов сайтов, каждый сайт с новой строки, адрес начинается с http:// Нужно скачать файл robots.txt у каждого сайта, и сохранить с именем домена, например: mysiteru.txt (содержит robots.txt сайта mysite,ru), mysitecomua.txt (mysite.com.ua), subdomainmysitenet.txt (subdomain.mysite.net).
|
|
|