23.11.2010, 21:57
|
|
Участник форума
Регистрация: 09.06.2009
Сообщений: 218
С нами:
8906674
Репутация:
0
|
|
Код:
Код:
cat filename | awk -F/ '{print $0" -O "$3}' | xargs -L1 wget
Это если в файле есть полный путь к robots.txt в URL, если нет, тогда так:
Код:
Код:
cat filename | awk -F/ '{print $0"/robots.txt -O "$3}' | xargs -L1 wget
|
|
|