ANTICHAT — форум по информационной безопасности, OSINT и технологиям
ANTICHAT — русскоязычное сообщество по безопасности, OSINT и программированию.
Форум ранее работал на доменах antichat.ru, antichat.com и antichat.club,
и теперь снова доступен на новом адресе —
forum.antichat.xyz.
Форум восстановлен и продолжает развитие: доступны архивные темы, добавляются новые обсуждения и материалы.
⚠️ Старые аккаунты восстановить невозможно — необходимо зарегистрироваться заново.
 |
|

10.10.2015, 05:06
|
|
Elder - Старейшина
Регистрация: 23.05.2012
Сообщений: 3,462
Провел на форуме: 1070390
Репутация:
81
|
|
Сообщение от SergeyFGF
Тут я столкнулся с одной проблемкой.
При загрузке Линукса с Live USB, объем обрабатываемого словаря лимитируется
свободным местом на флешке. Я так понял под файл tmp.
Это меня положило. На компе-то установлено 32 гига оперативки
У меня 8 гигов оперативки
Я Slax x64 прямо в оперативку загружаю, и мне хватает (если на флешке - до 4 гигов пробовал) словари обрабатывать
|
|
|

12.10.2015, 11:55
|
|
Member
Регистрация: 05.12.2013
Сообщений: 79
Провел на форуме: 23610
Репутация:
0
|
|
Сообщение от Andrey9999
У меня 8 гигов оперативки
Я Slax x64 прямо в оперативку загружаю, и мне хватает (если на флешке - до 4 гигов пробовал) словари обрабатывать
Любая Live-система грузится в ОЗУ.
Попробуй под ней соединить два 20-ти гиг. словаря.
Только дождись окончания и отпишись.
Моя Kali не смогла.
|
|
|

12.10.2015, 17:24
|
|
Elder - Старейшина
Регистрация: 23.05.2012
Сообщений: 3,462
Провел на форуме: 1070390
Репутация:
81
|
|
Сообщение от SergeyFGF
Любая Live-система грузится в ОЗУ.
Не любая (полностью, чтоб флешку можно было вытащить)
20-ти гиг. словарей у меня нет - попробую склеить и опять разрезать)
|
|
|

13.10.2015, 00:07
|
|
Member
Регистрация: 06.08.2015
Сообщений: 16
Провел на форуме: 6373
Репутация:
0
|
|
Сообщение от Kakoluk
Win XP(SP3) 2g оперативки, на момент теста свободных ~1g.
Win 7(SP1) 2g оперативки, на момент теста свободных ~1g.
(железка одна и та же)
1. 64-битная версия, кажется, с проблемами синтаксиса командной строки(относительно 32-х битной) - вываливается с хелпом.
2. Операции sort и remove, почему-то, режут от файла что то(при отчёте 0 строк), скажем был 196mb а осталось 180mb(проверить что вырезал нет возможности).
И тут Остапа понесло(с).
1. Пожелания : Сдаётся мне, у всех подобных программ одна беда, - нехватка оперативки для работы с большими файлами.
И следовательно, нужно изначально отталкиваться от работы с диском.
2. Блоковые чтение\запись с носителя, блоки выбирать не более 100mb(иначе, во время работы на слабых машинах будет жуткий тупняк, из за одновременной нехватки оперативки и работе с файлом подкачки.
Ну и как вишенка на торте, - использование распаралеливания на неодноядерных машинах(у меня 6-ядерный атлончик, жаль что грузится только на 17% при работе с подобным софтом).
Мой(AMD Phenom(tm) II X6 1055T), кстати, может представлятся как очень мощный одноядерный(в XP32), видимо распаралеливание идёт уже внутри.
Мой брательник когда то давно, написал одну прогу, которая предустанавливает соответствие
процессоров(для запуска старых игрушек и ПО, которые не понимают многоядерных камней под XP).
Если нужен исходник(на вижал), если, он вдруг поможет, то вот: https://yadi.sk/d/97ui3L8qjWXUJ
Я уж даже не мечтаю о работе через GPU как HashCat(это, уже из области фантастики).
P.S.
Не забрасывай прошу, этот проект, .. программа очень нужная, а если сможет работать с большими файлами при нехватке оперативки,
то и вовсе уникальная.
И не слушай никого про GUI, Мама говорила, что человеку нужно только самое необходимое, всё остальное - показуха. (c) Форест Гамп.
Если серьёзно, написать прикрученный пакетник(.bat) - пара минут.
Не отвлекайся на показуху.
Привет, спасибо за отзывы и предложения. проверил утилиту еще раз.
1. И x32 и x64 версии обладают одним исходным кодом, компиляция лишь разная. Проверил обе версии, все работает, могу предположить, что программа не видит словарей из за того, что запускается не из своей папки, пробуйте запустить exe файл непосредственно из папки с программой и словарями, т.е. сделайте переход в папку командой cd.
2. Это объяснимо, но не видно явно. Файл становится меньше из за изменения формата конца строки с Windows(CRLF) на Unix(LF), что приводит к уменьшению размера.
Очистка от непечатаемых символов и по длине (remove trim) память не потребляет вообще, потребляет только поиск дубликатов и сортировка.
http://s017.radikal.ru/i437/1510/b7/e9e367fe049d.jpg
http://s018.radikal.ru/i527/1510/49/637977da4cb6.jpg
Я стараюсь учесть все предложения, но к сожалению отпуск закончился и повседневная работа отнимает все время... работа над утилитами идет но медленно )))
|
|
|

13.10.2015, 03:10
|
|
Elder - Старейшина
Регистрация: 23.05.2012
Сообщений: 3,462
Провел на форуме: 1070390
Репутация:
81
|
|
Сообщение от SergeyFGF
Попробуй под ней соединить два 20-ти гиг. словаря.
Только дождись окончания и отпишись.
Моя Kali не смогла.
Два по 23,8Gb налепил - склеил их друг с другом за ~25 минут
Думаю можно и больших объемов, но уж больно долго ждать)
|
|
|

13.10.2015, 10:51
|
|
Banned
Регистрация: 14.08.2015
Сообщений: 514
Провел на форуме: 178385
Репутация:
4
|
|
Сообщение от wifiadapter
Привет, спасибо за отзывы и предложения. проверил утилиту еще раз.
2. Это объяснимо, но не видно явно. Файл становится меньше из за изменения формата конца строки с Windows(CRLF) на Unix(LF), что приводит к уменьшению размера.
Уже разобрался(спустя день, после написания своего сообщения), прошу прощения что не исправил свой пост.
Да пусть всегда так и останется [0D0A]>[0A]. (HashCat ест, размер меньше).
Проверял (trim remove) большим файлом(~45gb), я так понял что сперва идёт подсчёт строк?(ооочень долгая предварительная операция).
Довольно весело работает(уже после подсчёта строк), учитывая объём файла.
Нельзя ли счётчик (при trim remove) выполнять во время работы?
Ещё процентики забавно выводятся в консоли, заметил на больших файлах например :
1%- 20.. потом в обратную сторону ... а на 16g(словарь) вообще он 0% до 1%,
тудым-сюдым.
Я понимаю что это статистика блока(окна) которое в данный момент проносит софт,
но для приматов это важно(с психологической точки зрения) - мол, я всё контролирую,
и вижу на каком этапе(в процентах) я нахожусь, сходить ли мне ещё чем заняться,
или уже не стоит(дело близится к финалу).
|
|
|

13.10.2015, 12:49
|
|
Member
Регистрация: 05.12.2013
Сообщений: 79
Провел на форуме: 23610
Репутация:
0
|
|
Сообщение от Andrey9999
Два по 23,8Gb налепил - склеил их друг с другом за ~25 минут
Думаю можно и больших объемов, но уж больно долго ждать)
Вывод - твоя система использует для работы винт.
А Kali нет. Как и обещали разработчики, от нее нет следов в компьютере.
|
|
|

13.10.2015, 14:00
|
|
Elder - Старейшина
Регистрация: 15.09.2013
Сообщений: 529
Провел на форуме: 124918
Репутация:
40
|
|
Сообщение от didoff
Вопрос:
Есть словарь телефонов ЧО типа 9ххххххххх как с наименьшими затратами создать словарь типа 8 9ххххххххх и +7 9ххххххххх. Кот не работает, есть EWSA 3.172.2 (пятерки тоже не работают).
Про работу с масками не говорим ... ОК
Модифицировать словарь как изложено можно с помощью набора утилит с GUI
http://unifiedlm.com/Home
В меню выбрать Exp/Mangle и там справа первая Prefix/Suffix и задавать Prefix 8 или +7 (Suffix оставить пустым).
Другой вариант - воспользоваться консольной утилитой InsertCharToPos.exe от InsidePro, но первый вариант выглядит симпатичнее, а значит больше соответствует критерию "с наименьшими затратами".
|
|
|

13.10.2015, 20:56
|
|
Elder - Старейшина
Регистрация: 23.05.2012
Сообщений: 3,462
Провел на форуме: 1070390
Репутация:
81
|
|
Сообщение от SergeyFGF
Вывод - твоя система использует для работы винт.
А Kali нет. Как и обещали разработчики, от нее нет следов в компьютере.
Slax может работать полностью в оперативке, с отключенными винтами, флешками, DVD приводами и т. п.)
И словари (правда не таких объемов) прямо в ней можно обрабатывать
|
|
|

13.10.2015, 21:10
|
|
Member
Регистрация: 06.08.2015
Сообщений: 16
Провел на форуме: 6373
Репутация:
0
|
|
Сообщение от Kakoluk
Уже разобрался(спустя день, после написания своего сообщения), прошу прощения что не исправил свой пост.
Да пусть всегда так и останется [0D0A]>[0A]. (HashCat ест, размер меньше).
Проверял (trim remove) большим файлом(~45gb), я так понял что сперва идёт подсчёт строк?(ооочень долгая предварительная операция).
Довольно весело работает(уже после подсчёта строк), учитывая объём файла.
Нельзя ли счётчик (при trim remove) выполнять во время работы?
Ещё процентики забавно выводятся в консоли, заметил на больших файлах например :
1%- 20.. потом в обратную сторону ... а на 16g(словарь) вообще он 0% до 1%,
тудым-сюдым.
Я понимаю что это статистика блока(окна) которое в данный момент проносит софт,
но для приматов это важно(с психологической точки зрения) - мол, я всё контролирую,
и вижу на каком этапе(в процентах) я нахожусь, сходить ли мне ещё чем заняться,
или уже не стоит(дело близится к финалу).
Все верно, подсчет всех строк необходим для работы индикатора процесса, без этого никак.
Индикатор процесса переписал, должен работать правильно, но нужно протестировать на разных ОС и на словарях разных размеров, в том числе и на вашем (~45gb)
Качать там же:
wordlistcleaner2
duplicate_seacher
|
|
|
|
 |
|
|
Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
|
|
|
|