 |
|
23.07.2022, 19:47
|
|
Member
Регистрация: 06.07.2022
Сообщений: 12
Провел на форуме:
2991
Репутация:
0
|
|
Приветствую всех.
Kali Linux через VirtualBox.
parallel -a /media/sf_hack/haveibeenpwned.com_out_bezCR_nonum_noemail_8-20.txt -k --block 30M --pipe-part "sort -u -T '/media/sf_hack/'" > /media/sf_hack/haveibeenpwned.com_out_bezCR_nonum_noemail_8-20_sort_unigue.txt
Что не нравится sort в этой команде?
sort: предупреждение: невозможно удалить: /media/sf_hack//sortEFcZrb: Текстовый файл занят
sort: предупреждение: невозможно удалить: /media/sf_hack//sortp4LAtC: Текстовый файл занят
sort: предупреждение: невозможно удалить: /media/sf_hack//sortzGtbFU: Текстовый файл занят
седы и каретки пашут без проблем:
parallel -a /media/sf_hack/haveibeenpwned.com/haveibeenpwned.com_out.txt -k --block 30M --pipe-part "tr -d '\r'" > /media/sf_hack/haveibeenpwned.com/haveibeenpwned.com_out_bezCR.txt
parallel -a /media/sf_hack/haveibeenpwned.com/haveibeenpwned.com_out_bezCR.txt -k --block 30M --pipe-part "sed -r -e '/^[0-9]+$/d' -e '/@[^@\.]+\.[^@\.]+\.?[^@\.]+$/d' | pw-inspector -m 8 -M 20" > /media/sf_hack/haveibeenpwned.com_out_bezCR_nonum_noemail_8-20.txt
запаралелил на 3 ядра процессора, но уже несколько раз подряд спотыкаюсь о sort
так не тупит, но медленно, зараза ...
sort /media/sf_hack/BreachCompilation_nonum_noemail_8-30 -u -T '/media/sf_hack/' > /media/sf_hack/BreachCompilation_nonum_noemail_8-30_sort
 |
|
|
23.07.2022, 21:06
|
|
Well-Known Member
Регистрация: 10.06.2019
Сообщений: 168
Провел на форуме:
45312
Репутация:
3
|
|
Сообщение от Maximator
Приветствую всех.
так не тупит, но медленно, зараза ...
Медленно это как и на сколько? Не придумывайте сами себе костыли. У меня 300гб за сутки с небольшим переваривает, это учитывая то, что проц занят всегда другими процессами, а sort жрёт процентов 5 мощей от проца.
|
|
|
|
23.07.2022, 21:40
|
|
Member
Регистрация: 06.07.2022
Сообщений: 12
Провел на форуме:
2991
Репутация:
0
|
|
Это значит что есть техническая возможность ускорить всё это в разы.
упирается либо в скорость жесткого диска либо в скорость ЦП.
распаралеливать я стал как раз потому что Линукс за команду грузил лишь одно ядро.
погоняв sed я увидел прирост в 3 раза (на виртуалку выделено 3 ядра).
|
|
|
|
23.07.2022, 22:48
|
|
Well-Known Member
Регистрация: 10.06.2019
Сообщений: 168
Провел на форуме:
45312
Репутация:
3
|
|
Сообщение от Maximator
Это значит что есть техническая возможность ускорить всё это в разы.
упирается либо в скорость жесткого диска либо в скорость ЦП.
распаралеливать я стал как раз потому что Линукс за команду грузил лишь одно ядро.
погоняв sed я увидел прирост в 3 раза (на виртуалку выделено 3 ядра).
Хозяин барин, но имхо не стОит оно того.
|
|
|
|
25.07.2022, 17:55
|
|
Well-Known Member
Регистрация: 10.06.2019
Сообщений: 168
Провел на форуме:
45312
Репутация:
3
|
|
Сообщение от Maximator
Приветствую всех.
Kali Linux через VirtualBox.
parallel -a /media/sf_hack/haveibeenpwned.com_out_bezCR_nonum_noemail_8-20.txt -k --block 30M --pipe-part "sort -u -T '/media/sf_hack/'" > /media/sf_hack/haveibeenpwned.com_out_bezCR_nonum_noemail_8-20_sort_unigue.txt
Что не нравится sort в этой команде?
sort: предупреждение: невозможно удалить: /media/sf_hack//sortEFcZrb: Текстовый файл занят
sort: предупреждение: невозможно удалить: /media/sf_hack//sortp4LAtC: Текстовый файл занят
sort: предупреждение: невозможно удалить: /media/sf_hack//sortzGtbFU: Текстовый файл занят
седы и каретки пашут без проблем:
parallel -a /media/sf_hack/haveibeenpwned.com/haveibeenpwned.com_out.txt -k --block 30M --pipe-part "tr -d '\r'" > /media/sf_hack/haveibeenpwned.com/haveibeenpwned.com_out_bezCR.txt
parallel -a /media/sf_hack/haveibeenpwned.com/haveibeenpwned.com_out_bezCR.txt -k --block 30M --pipe-part "sed -r -e '/^[0-9]+$/d' -e '/@[^@\.]+\.[^@\.]+\.?[^@\.]+$/d' | pw-inspector -m 8 -M 20" > /media/sf_hack/haveibeenpwned.com_out_bezCR_nonum_noemail_8-20.txt
запаралелил на 3 ядра процессора, но уже несколько раз подряд спотыкаюсь о sort
так не тупит, но медленно, зараза ...
sort /media/sf_hack/BreachCompilation_nonum_noemail_8-30 -u -T '/media/sf_hack/' > /media/sf_hack/BreachCompilation_nonum_noemail_8-30_sort
 Кстати я кажись допёр почему так происходит. Sort становится не в 3 раза быстрее работь, а запускает 3 одинаковых процесса сортировки, каждый из которых пытается удалить временный файл созданный другим процессом с тем же названием.
|
|
|
|
05.08.2022, 10:39
|
|
Новичок
Регистрация: 16.09.2009
Сообщений: 0
Провел на форуме:
14577
Репутация:
0
|
|
Сообщение от CRACK211
все привет. подскажите пожалуйста команду для поиска почт в строках и заппись в отдельный файл. у меня была команда не могу найти
нашел
perl -lne 'print for /([A-Za-z0-9._%+-]+)@[A-Za-z0-9.-]+\.[A-Za-z]{2,6}/g' file.txt
Здравствуйте, очень люблю эту команду. Есть вопрос возможно ли сделать так чтобы поиск проходил и в подкаталагах тоже. Есть папка а в ней куча папок всего 600т файлов. Очень тяжело перенести все в одну папку. Как можно сделать?
|
|
|
|
05.08.2022, 16:25
|
|
Постоянный
Регистрация: 30.08.2011
Сообщений: 358
Провел на форуме:
66828
Репутация:
11
|
|
Сообщение от CRACK211
Здравствуйте, очень люблю эту команду. Есть вопрос возможно ли сделать так чтобы поиск проходил и в подкаталагах тоже. Есть папка а в ней куча папок всего 600т файлов. Очень тяжело перенести все в одну папку. Как можно сделать?
find ./ -type f -exec cat {} \; | perl -lne 'print for /([A-Za-z0-9._%+-]+)@[A-Za-z0-9.-]+\.[A-Za-z]{2,6}/g'
./ - где искать файлы, в данном случае - текущий каталог.
|
|
|
|
05.08.2022, 16:54
|
|
Member
Регистрация: 06.07.2022
Сообщений: 12
Провел на форуме:
2991
Репутация:
0
|
|
cat /BreachCompilation/data/*/*/* > out_3.txt
cat /BreachCompilation/data/*/* > out2.txt
cat /BreachCompilation/data/* > out1.txt
Неплохая примочка чтобы сливать горы файлов по нужным тебе уровням.
BreachCompilation был слит за 3 уровня.
Ну а уж выдёргивать почту из файла примочек много.
'/^[0-9]+$/d' -e '/@[^@\.]+\.[^@\.]+\.?[^@\.]+$/d'
так через sed чищу мыло. вроде работает.
BreachCompilation как я понял тут пользуется повышенным спросом ) прикладываю
Кто не в теме, там можно найти многие СВОИ пароли на почты до 2017 года )
Лучший просмотрщик под винду что я пока встречал - плагин Listen. Самое быстрое решение.
Запуск Ctrl+Q в тотал командер. Ctrl + F в нём - поиск. Но чисто просмотр и поиск в словаре.
EmEditor по мне так проигрывает в скорости предпросмотра. функционал там разный, не буду сравнивать. |
|
|
|
28.08.2022, 00:22
|
|
New Member
Регистрация: 02.04.2012
Сообщений: 14
Провел на форуме:
3094
Репутация:
0
|
|
Никто вот этот архив не качал? Это не аналог верхнего поста?
https://github.com/Manuelq059/CompilationOfManyBreaches
|
|
|
|
02.09.2022, 19:39
|
|
New Member
Регистрация: 04.04.2021
Сообщений: 24
Провел на форуме:
4889
Репутация:
0
|
|
Подскажите, а есть ли словари русских слов, набранных на английской раскладке. Поделитесь пожалуйста если есть.
|
|
|
|
|
|
|
|
Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
|
|
|
|
Линейный вид
