Приветствую всех.

Kali Linux через VirtualBox.

parallel -a /media/sf_hack/haveibeenpwned.com_out_bezCR_nonum_noemail_8-20.txt -k --block 30M --pipe-part "sort -u -T '/media/sf_hack/'" > /media/sf_hack/haveibeenpwned.com_out_bezCR_nonum_noemail_8-20_sort_unigue.txt



Что не нравится sort в этой команде?

sort: предупреждение: невозможно удалить: /media/sf_hack//sortEFcZrb: Текстовый файл занят

sort: предупреждение: невозможно удалить: /media/sf_hack//sortp4LAtC: Текстовый файл занят

sort: предупреждение: невозможно удалить: /media/sf_hack//sortzGtbFU: Текстовый файл занят

седы и каретки пашут без проблем:

parallel -a /media/sf_hack/haveibeenpwned.com/haveibeenpwned.com_out.txt -k --block 30M --pipe-part "tr -d '\r'" > /media/sf_hack/haveibeenpwned.com/haveibeenpwned.com_out_bezCR.txt

parallel -a /media/sf_hack/haveibeenpwned.com/haveibeenpwned.com_out_bezCR.txt -k --block 30M --pipe-part "sed -r -e '/^[0-9]+$/d' -e '/@[^@\.]+\.[^@\.]+\.?[^@\.]+$/d' | pw-inspector -m 8 -M 20" > /media/sf_hack/haveibeenpwned.com_out_bezCR_nonum_noemail_8-20.txt

запаралелил на 3 ядра процессора, но уже несколько раз подряд спотыкаюсь о sort

так не тупит, но медленно, зараза ...

sort /media/sf_hack/BreachCompilation_nonum_noemail_8-30 -u -T '/media/sf_hack/' > /media/sf_hack/BreachCompilation_nonum_noemail_8-30_sort