ANTICHAT — форум по информационной безопасности, OSINT и технологиям
ANTICHAT — русскоязычное сообщество по безопасности, OSINT и программированию.
Форум ранее работал на доменах antichat.ru, antichat.com и antichat.club,
и теперь снова доступен на новом адресе —
forum.antichat.xyz.
Форум восстановлен и продолжает развитие: доступны архивные темы, добавляются новые обсуждения и материалы.
⚠️ Старые аккаунты восстановить невозможно — необходимо зарегистрироваться заново.
 |
|
15.12.2016, 17:03
|
|
Познавший АНТИЧАТ
Регистрация: 24.05.2015
Сообщений: 1,014
Провел на форуме:
350242
Репутация:
62
|
|
Сообщение от VasiliyP
Можете "sort'om проехатся" по файлу после paste - результат будет идентичный.
паста не сработала... некорректная работа, паста обьяденяет в ряд... без комбинаторики...
|
|
|
25.12.2016, 14:22
|
|
Новичок
Регистрация: 07.12.2009
Сообщений: 0
Провел на форуме:
5825
Репутация:
0
|
|
Сообщение от Buran
Все эти словари уже почищены, ссылки выложены на сайт. Получилось 249 кусков по 800-1000 МБ. Кто будет качать, могут таким образом отблагодарить меня за программу "MoDic cleaner" и помогут оплатить интернет. Для вас бесплатно, а мне копеечка. Спасибо!
Большое спасибо за программу! Работает очень хорошо! (Кстати, может создать по ней отдельную тему?)
Заметил одну непонятку в работе. Когда чистил InsidePro 1-31 FULL словари из этого сообщения, то несколько файлов, после удаления определённого количества строк, почему то увеличились в размере на несколько процентов. Похоже на некорректную работу алгоритма.
Ну и ещё заметно, что производительность упирается в процессор - работает только одно ядро, а при включенном hyper-threading так и вообще пол ядра
|
|
|
|
25.12.2016, 14:30
|
|
Флудер
Регистрация: 19.06.2015
Сообщений: 4,126
Провел на форуме:
759330
Репутация:
147
|
|
Сообщение от alian
Кстати, может создать по ней отдельную тему?
Вспомнил этот пост...
https://forum.antichat.ru/threads/281655/page-37#post-3860955
|
|
|
|
25.12.2016, 14:47
|
|
Новичок
Регистрация: 22.01.2009
Сообщений: 1
Провел на форуме:
937
Репутация:
0
|
|
Сообщение от alian
Заметил одну непонятку в работе. Когда чистил InsidePro 1-31 FULL словари из этого сообщения, то несколько файлов, после удаления определённого количества строк, почему то увеличились в размере на несколько процентов. Похоже на некорректную работу алгоритма.
очевидно что возврат каретки меняется с линуксойдного на виндовый
|
|
|
|
25.12.2016, 17:01
|
|
Новичок
Регистрация: 07.12.2009
Сообщений: 0
Провел на форуме:
5825
Репутация:
0
|
|
Да, скорей всего. В тех частях как раз символов $1A не было, а сохранял я виндовом формате.
|
|
|
|
25.12.2016, 17:19
|
|
Познающий
Регистрация: 08.11.2016
Сообщений: 62
Провел на форуме:
18747
Репутация:
0
|
|
Чувачки может кто сможет помочь словарик на 347 Гб почистить там 6 частей по 64 ГБ их надо объяденить отсортировать удалить повторы и 8-64 символа? сожму в 7z отправлю как угодно куда угодно
Нет времени этим заниматься((
если все сразу обрабатывать временых файлов 800-850 Гб создается +300-350 Гб надо чтоб сохранить словарь
этой командой делал:
cat 1.dic | sort | uniq | pw-inspector -m 8 -M 64 > 2SortWPAd.dic
|
|
|
|
25.12.2016, 17:32
|
|
Познающий
Регистрация: 08.11.2016
Сообщений: 62
Провел на форуме:
18747
Репутация:
0
|
|
Сообщение от ms13
Какие все деловые стали, куды бечь?
ну можеть у кого есть свободная система)) вдруг кто отзавется а то я хз когда смогу этим заняться... времени нет:-( ноутбук нужен для других дел
|
|
|
|
25.12.2016, 17:38
|
|
Познающий
Регистрация: 08.11.2016
Сообщений: 62
Провел на форуме:
18747
Репутация:
0
|
|
Сообщение от ms13
Угу... есть такое дело, тоже и комп, и ноут занят!
у меня есть комп с PIV 3 ГГЦ он в бубен долбить там 100500 млн лет будет))
i5 460M - 3,5 дня такой словарь обрабатывает
|
|
|
|
25.12.2016, 17:44
|
|
Познающий
Регистрация: 08.11.2016
Сообщений: 62
Провел на форуме:
18747
Репутация:
0
|
|
Сообщение от alian
Большое спасибо за программу! Работает очень хорошо! (Кстати, может создать по ней отдельную тему?)
Заметил одну непонятку в работе. Когда чистил InsidePro 1-31 FULL словари из этого сообщения, то несколько файлов, после удаления определённого количества строк, почему то увеличились в размере на несколько процентов. Похоже на некорректную работу алгоритма.
Ну и ещё заметно, что производительность упирается в процессор - работает только одно ядро, а при включенном hyper-threading так и вообще пол ядра
========================
он очищен зря замарачиваешься
- отсортирован 0-9 A-Z
- удалены повторы строк
- удалены строки меньше 8 символов
- удалил краказябры
========================
Не удалил Вида rfdgdtd544@mail
вид имейл удалять не стал потому что никторые любители ставят пароли вида
M@A@F@[email protected]
|
|
|
|
26.12.2016, 20:08
|
|
Banned
Регистрация: 15.08.2016
Сообщений: 108
Провел на форуме:
37120
Репутация:
0
|
|
Никто не вкурсе как быстро отсортировать большой словарь около 250гиг ?
Что я хочу удалить строки из большого словаря которые дублируются в моем основном словаре 17гиг.
Для этого нужно выполнить команду (предварительно отсортировав словари):
comm -31 dic1.lst dic2.lst > out.lst ### вывести уникальные строки файла 2
join -v2 dic1.lst dic2.lst > out.lst ### печатать не имеющие пары строки из файла НОМЕР 2 или "-v1" - файла 1
командой LC_ALL=C sort dic.lst > dicout.lst сортирует очень быстро в 4-5раз быстрее(хотя заметил что немного другая сортировка) чем просто sort dic.lst > dicout.lst и comm или join почему-то
ругаются данные файла 1 не отсортированы. может какой-то параметр добавить после LC_ALL=C sort ???
|
|
|
|
|
|
|
|
Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
|
|
|
|
Линейный вид
