Имея 3 словаря, допустим, по 10 Гб в txt формате, хочу объединить их в один словарьout.txt(30Гб) и в далее хочу убрать повторяющиеся строки(пароли) из этого файла, как это реализовать у себя на пк?

Может есть команды для объединенияи очистки дублей(+ сортировки) или специализированный софт?

Имею две OC Kali и W10.

объединить: cat 1.txt 2.txt 3.txt > out.txt

сортировать и удалить повторы: sort -u out.dic > sorted.dic

А изменить количество строк в файле out.txt можно с помощью команды uniq -s 3-8?

Получается конечный команды:

1.cat 1.txt 2.txt 3.txt > out.txt

2.sort -u out.txt > sorted.txt

3.uniq -s 3-7 sorted.txt sorted3-7.txt

И получим словарь без повторов с кол-во символов от 3 до 7, верно?

не совсем понятно что требуется - посмотри здесь

если нужно оставить слова только с от 3 до 7 символами, то: sed -r '/^.{3,7}$/!d' sorted.txt > ot3do7.txt

Доброе время суток Antichat, вопрос такой - у меня есть 10 словарей для брута, нужно убрать из них дубликаты(почистить) не объединяя их в один, как такое провернуть?

Интересно есть софт на подобии duplicut-master?

Помогите пожалуйста