ANTICHAT — форум по информационной безопасности, OSINT и технологиям
ANTICHAT — русскоязычное сообщество по безопасности, OSINT и программированию.
Форум ранее работал на доменах antichat.ru, antichat.com и antichat.club,
и теперь снова доступен на новом адресе —
forum.antichat.xyz.
Форум восстановлен и продолжает развитие: доступны архивные темы, добавляются новые обсуждения и материалы.
⚠️ Старые аккаунты восстановить невозможно — необходимо зарегистрироваться заново.
07.01.2014, 10:43
|
|
Новичок
Регистрация: 21.06.2005
Сообщений: 1
Провел на форуме:
0
Репутация:
0
|
|
Сообщение от None
Парни! Столкнулся с такой проблемой. Есть файл с текстом (TXT) Размером 50gb. Есть ли такой софт который сможет проверить на дубликаты. Каждое слово написано одну строку. Заранее ОГРОМНОЕ СПАСИБО
В принципе, строк десять кода. Если дубликатов - значительное большинство - и того меньше. А можно не париться и тупо воткнуть своп на 50гб, лол.
|
|
|
07.01.2014, 10:52
|
|
Новичок
Регистрация: 18.03.2010
Сообщений: 2
Провел на форуме:
3203
Репутация:
0
|
|
Шаман
Хит, решил следующим бабайским способом:
Всего было 30к строк. Сгенерировал 30к уникальных слов ЫЯЫ{num}ЩЫЫЩ и поместил в первый столбец. Потом во второй вогнал мои строки. Скопировал все в Sublime Text и разделитель ячеек [TAB] заменил переходом на новую строку. Итого вышло:
Сообщение от None
ЫЯЫ0001ЩЫЫЩ
Виктор Цой
ЫЯЫ0002ЩЫЫЩ
Алла Пугачева
Потом удалил дубликаты строк, и назад заменил переходы на новую строку на ТАБы. Снова в таблицу, берем только второй столбец - ГОТОВО!
|
|
|
|
13.01.2014, 03:35
|
|
Новичок
Регистрация: 26.05.2013
Сообщений: 0
Провел на форуме:
0
Репутация:
0
|
|
это ведь не все программы? есть еще чтото подобное?
|
|
|
|
13.01.2014, 08:10
|
|
Новичок
Регистрация: 21.06.2005
Сообщений: 1
Провел на форуме:
0
Репутация:
0
|
|
Сообщение от vladb95z-sof
это ведь не все программы? есть еще чтото подобное?
>> Ах, сколько бы восхитительного и первоклассного софта мир не увидел бы, знай люди про grep, sed и регулярки. В частности, практически любой вопрос\софт, упомянутый в топике реализуется одной строкой.
I love seflquoting!
|
|
|
|
13.01.2014, 12:47
|
|
Новичок
Регистрация: 01.12.2010
Сообщений: 16
Провел на форуме:
3088
Репутация:
0
|
|
Неплохая подборка!
|
|
|
|
27.01.2014, 02:10
|
|
Новичок
Регистрация: 10.09.2013
Сообщений: 0
Провел на форуме:
0
Репутация:
0
|
|
Спасибо очень нужны были такие проги.
|
|
|
|
10.09.2014, 12:05
|
|
Новичок
Регистрация: 17.02.2013
Сообщений: 2
Провел на форуме:
416
Репутация:
0
|
|
вот без программ, онлайн штуко
правда для 50 гигов не подойдет |
|
|
|
03.03.2015, 18:17
|
|
Познающий
Регистрация: 21.01.2014
Сообщений: 36
Провел на форуме:
10218
Репутация:
16
|
|
Посоветуйте Актуальный софт для задач:
1. 258 словарей имею - без объединения убрать Дубликаты, пробелы а так же символы которые не бугут быть в реалпассе.
2. желательно с Настройками пример привести.
|
|
|
|
31.03.2016, 11:15
|
|
Новичок
Регистрация: 20.03.2011
Сообщений: 0
Провел на форуме:
0
Репутация:
1
|
|
Сообщение от Партнёр
↑
Выложите ту прогу, которая из одного списка удаляет второй, пожалуйста
Хоть сообщение и старое, отвечу) т.к. сам искал. Нашел вот это http://solutionfix.org/soft/doublers/
|
|
|
|
29.04.2016, 16:28
|
|
Новичок
Регистрация: 14.01.2016
Сообщений: 2
Провел на форуме:
696
Репутация:
0
|
|
а разве notepad++ такого не делает?
|
|
|
|
|
 |
|
|
Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
|
|
|
|
Похожие темы
Комбинированный вид
