ANTICHAT — форум по информационной безопасности, OSINT и технологиям
ANTICHAT — русскоязычное сообщество по безопасности, OSINT и программированию.
Форум ранее работал на доменах antichat.ru, antichat.com и antichat.club,
и теперь снова доступен на новом адресе —
forum.antichat.xyz.
Форум восстановлен и продолжает развитие: доступны архивные темы, добавляются новые обсуждения и материалы.
⚠️ Старые аккаунты восстановить невозможно — необходимо зарегистрироваться заново.
 |
|
12.09.2015, 21:54
|
|
Новичок
Регистрация: 16.09.2009
Сообщений: 0
Провел на форуме:
14577
Репутация:
0
|
|
Сообщение от wifiadapter
могу, только не понял что нужно, "частоповторяющмися паролями", вы хотели сказать, нужен словарь без дублей с уникальными паролями?
Да. И еще была мысыль сравнивая допустим 5 словарей, если одно и тоже слово повтаряется хотябы в трех из них то копировать в отдельный словарь. Мне кажется не плохой соловарь получится. Надо у старейшин спросить) будет смысол в таком словаре)
|
|
|
12.09.2015, 22:09
|
|
Познавший АНТИЧАТ
Регистрация: 01.04.2013
Сообщений: 1,113
Провел на форуме:
348572
Репутация:
57
|
|
Сообщение от CRACK211
Да. И еще была мысыль сравнивая допустим 5 словарей, если одно и тоже слово повтаряется хотябы в трех из них то копировать в отдельный словарь. Мне кажется не плохой соловарь получится. Надо у старейшин спросить) будет смысол в таком словаре)
Я думаю что толку мало. Вот менять какие-либо данные в маленьком словаре (пример: ALEXEY2012- заменить дату с 1930 по 2020), здесь да, это Вы можете видеть в тренировочной комнате.
|
|
|
|
12.09.2015, 23:36
|
|
Member
Регистрация: 06.08.2015
Сообщений: 16
Провел на форуме:
6373
Репутация:
0
|
|
Сообщение от CRACK211
Да. И еще была мысыль сравнивая допустим 5 словарей, если одно и тоже слово повтаряется хотябы в трех из них то копировать в отдельный словарь. Мне кажется не плохой соловарь получится. Надо у старейшин спросить) будет смысол в таком словаре)
Сделал. Алгоритм поиска дубликатов тот же, что и у прошлой программы, т.е. память потребляет в зависимости от размера чистого словаря.
Очистил словари GDict и Languages (Summary) а затем объединил этой программой с поиском дубликатов, результат:
|Readed | 6356913|
|Removed | 2027170|
|Result | 4329743|
Как пользоваться:
duplicate_seacher.exe -ext txt -new dict_new.dic - программа найдет все словари с расширением txt и создан новый словарь dict_new.dic без дубликатов...
В общем нужно тестировать ...
Качать тут duplicate_seacher
|
|
|
|
13.09.2015, 05:34
|
|
Elder - Старейшина
Регистрация: 23.05.2012
Сообщений: 3,462
Провел на форуме:
1070390
Репутация:
81
|
|
Сообщение от gpuhash
Вот любите вы под каждую мелкую задачу целую программу писать
Все это придумано уже лет дцать назад
Ну например:
tr -dc "[:alnum:][:space:][unct:]"
gawk 'length($1) > 7 {print $1} '
sort
sort -u
Все вместе: cat musor.txt | tr -dc "[:alnum:][:space:][unct:]" | gawk 'length($1) > 7 {print $1} ' | sort -u > slovar.txt
и т.д.
Причем все то же самое можно и на sed сделать, но боюсь при набирании примеров у меня сломаются пальцы, а у некоторых - моск
P.S. Под виндовз все эти утилиты тоже есть, достаточно поставить CYGWIN
Кое-что из своего)
)............................только цифры - остальное) sed -r '/^[0-9]{1,}$/!d' 1.dic > cifri.dic|sed -r '/^[0-9]{1,}$/d' 1.dic > ostalnoe.dic
)...............буквы и буквы+цифры - остальное) sed -r '/^([a-z]{1,}|[a-z]{3,}[0-9]{1,})$/I!d' 1.dic > bukvi-bukvocifri.dic|sed -r '/^([a-z]{1,}|[a-z]{3,}[0-9]{1,})$/Id' 1.dic > ostalnoe.dic
).Разделить - короче 11, длинее 10 символов) sed '/.........../!d' 1.dic > dlinee10.dic|sed '/.........../d' 1.dic > koroche11.dic
|
|
|
|
13.09.2015, 08:15
|
|
Флудер
Регистрация: 24.07.2015
Сообщений: 2,338
Провел на форуме:
474896
Репутация:
31
|
|
Сообщение от wifiadapter
duplicate и sort критичны к оперативной памяти, если памяти 4 гига то 3 гига могли и не влезть.... во время поиска дубликатов уникальные слова хранятся в памяти, что бы можно было сравнивать их с вновь считанными, т.е. в память помещается очищенный словарь, дубликаты же отбрасываются... другого алгоритма я пока не придумал...
remove и trim работают "на сквозь", эти операции должны проходить без падений...попробуйте.
То-то и оно,что памяти 12Gb DDR3 1333 и занято было на момент запуска прцедуры 2.5Gb. Т.е свободной памяти должно хватить.
У меня система установлена на SSD и я не создаю раздел подкачки (в целях экономии места да и памяти достаточно) Может в этом проблема?Хотя врядли.....
|
|
|
|
13.09.2015, 08:49
|
|
Member
Регистрация: 15.11.2012
Сообщений: 137
Провел на форуме:
26740
Репутация:
9
|
|
Сообщение от wifiadapter
duplicate и sort критичны к оперативной памяти, если памяти 4 гига то 3 гига могли и не влезть.... во время поиска дубликатов уникальные слова хранятся в памяти, что бы можно было сравнивать их с вновь считанными, т.е. в память помещается очищенный словарь, дубликаты же отбрасываются... другого алгоритма я пока не придумал...
remove и trim работают "на сквозь", эти операции должны проходить без падений...попробуйте.
Чтобы не зависеть от объема оперативки, храни результирующий массив на диске, например в быстрой БД
|
|
|
|
13.09.2015, 15:07
|
|
Member
Регистрация: 06.08.2015
Сообщений: 16
Провел на форуме:
6373
Репутация:
0
|
|
Сообщение от Sheez
Чтобы не зависеть от объема оперативки, храни результирующий массив на диске, например в быстрой БД
пробовал разные варианты и как раз сейчас пробую вариант с хранением данных в БД, скорее всего будет SQLite3 ... однако какой будет скорость ...
ну а пока переписал немного функцию поиска дубликатов, теперь потребляет памяти в два раза меньше чем в прошлом варианте.
качать там же:
wordlistcleaner2
duplicate_seacher
|
|
|
|
13.09.2015, 18:00
|
|
Elder - Старейшина
Регистрация: 15.09.2013
Сообщений: 529
Провел на форуме:
124918
Репутация:
40
|
|
Анализ данных 3wifi позволил скорректировать и дополнить словарь паролей, предлагаемых некоторыми устройствами Netgear.
http://rghost.ru/7rjv4snSb
|
|
|
|
14.09.2015, 00:18
|
|
Member
Регистрация: 15.11.2012
Сообщений: 137
Провел на форуме:
26740
Репутация:
9
|
|
Сообщение от CRACK211
Да. И еще была мысыль сравнивая допустим 5 словарей, если одно и тоже слово повтаряется хотябы в трех из них то копировать в отдельный словарь. Мне кажется не плохой соловарь получится. Надо у старейшин спросить) будет смысол в таком словаре)
http://rghost.ru/6xmrhQGgc
Модифицировал свою утилиту. теперь в поле KOL считается количество дублей. При экспорте нужно задать минимальное количество дублей, чтобы пароль считался "частословарным".
|
|
|
|
14.09.2015, 00:19
|
|
Member
Регистрация: 15.11.2012
Сообщений: 137
Провел на форуме:
26740
Репутация:
9
|
|
Сообщение от wifiadapter
пробовал разные варианты и как раз сейчас пробую вариант с хранением данных в БД, скорее всего будет SQLite3 ... однако какой будет скорость ...
ну а пока переписал немного функцию поиска дубликатов, теперь потребляет памяти в два раза меньше чем в прошлом варианте.
качать там же:
wordlistcleaner2
duplicate_seacher
Я тоже остановился на sqlite. Самая быстрая БД.
|
|
|
|
|
|
|
|
Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
|
|
|
|
Линейный вид
