Большое спасибо за программу! Работает очень хорошо! (Кстати, может создать по ней отдельную тему?)

Заметил одну непонятку в работе. Когда чистил InsidePro 1-31 FULL словари из этого сообщения, то несколько файлов, после удаления определённого количества строк, почему то увеличились в размере на несколько процентов. Похоже на некорректную работу алгоритма.

Ну и ещё заметно, что производительность упирается в процессор - работает только одно ядро, а при включенном hyper-threading так и вообще пол ядра

Вспомнил этот пост...

https://forum.antichat.ru/threads/281655/page-37#post-3860955

очевидно что возврат каретки меняется с линуксойдного на виндовый

Да, скорей всего. В тех частях как раз символов $1A не было, а сохранял я виндовом формате.

Чувачки может кто сможет помочь словарик на 347 Гб почистить там 6 частей по 64 ГБ их надо объяденить отсортировать удалить повторы и 8-64 символа? сожму в 7z отправлю как угодно куда угодно

Нет времени этим заниматься((

если все сразу обрабатывать временых файлов 800-850 Гб создается +300-350 Гб надо чтоб сохранить словарь

этой командой делал:

cat 1.dic | sort | uniq | pw-inspector -m 8 -M 64 > 2SortWPAd.dic

ну можеть у кого есть свободная система)) вдруг кто отзавется а то я хз когда смогу этим заняться... времени нет:-( ноутбук нужен для других дел

у меня есть комп с PIV 3 ГГЦ он в бубен долбить там 100500 млн лет будет))

i5 460M - 3,5 дня такой словарь обрабатывает

========================

он очищен зря замарачиваешься

- отсортирован 0-9 A-Z

- удалены повторы строк

- удалены строки меньше 8 символов

- удалил краказябры

========================

Не удалил Вида rfdgdtd544@mail

вид имейл удалять не стал потому что никторые любители ставят пароли вида

M@A@F@[email protected]

Никто не вкурсе как быстро отсортировать большой словарь около 250гиг ?

Что я хочу удалить строки из большого словаря которые дублируются в моем основном словаре 17гиг.

Для этого нужно выполнить команду (предварительно отсортировав словари):

comm -31 dic1.lst dic2.lst > out.lst ### вывести уникальные строки файла 2

join -v2 dic1.lst dic2.lst > out.lst ### печатать не имеющие пары строки из файла НОМЕР 2 или "-v1" - файла 1

командой LC_ALL=C sort dic.lst > dicout.lst сортирует очень быстро в 4-5раз быстрее(хотя заметил что немного другая сортировка) чем просто sort dic.lst > dicout.lst и comm или join почему-то

ругаются данные файла 1 не отсортированы. может какой-то параметр добавить после LC_ALL=C sort ???