УСТРАНЕНИЕ КОНКУРЕНТОВ. БЛОКИРОВКА ДОМЕНОВ, БЛОКИРОВКА ИНСТАГРАМ/ТЕЛЕГРАМ И ДРУГОЕ. ПРОВЕРЕННЫЙ СЕЛЛЕР.

ANTICHAT — форум по информационной безопасности, OSINT и технологиям

ANTICHAT — русскоязычное сообщество по безопасности, OSINT и программированию. Форум ранее работал на доменах antichat.ru, antichat.com и antichat.club, и теперь снова доступен на новом адресе — forum.antichat.xyz.
Форум восстановлен и продолжает развитие: доступны архивные темы, добавляются новые обсуждения и материалы.
⚠️ Старые аккаунты восстановить невозможно — необходимо зарегистрироваться заново.

		Форум АНТИЧАТ > БЕЗОПАСНОСТЬ И УЯЗВИМОСТИ > Песочница
Как быстро удалить Дубликаты строк с оригиналом

Страница 1 из 2

Опции темы

Поиск в этой теме

Опции просмотра

23.11.2015, 12:53

Found

Guest

Сообщений: n/a

Провел на форуме:
17462

Репутация: 23

Всем привет..,

Собственно вопрос, через программы или может быть есть Онлайн сервис -что конечно же удобней было бы для меня

Пример есть хеши:

05703552841fe4f579d1c75bd4b8d8a1

2363f2308fe82cbaf3240141003462e1

ef0de5525ec9d0a8679525f1753fea00

05703552841fe4f579d1c75bd4b8d8a1

Представим список большой как удалить из этих строк "05703552841fe4f579d1c75bd4b8d8a1" вместе с оригиналом что бы получить на выходе:

2363f2308fe82cbaf3240141003462e1

ef0de5525ec9d0a8679525f1753fea00

23.11.2015, 13:42

ZodiaX

Новичок

Регистрация: 07.05.2009

Сообщений: 14

Провел на форуме:
44902

Репутация: 0

Цитата:

Сообщение от Found

Found said:
↑
Всем привет..,
Собственно вопрос, через программы или может быть есть Онлайн сервис -что конечно же удобней было бы для меня
Пример есть хеши:
05703552841fe4f579d1c75bd4b8d8a1
2363f2308fe82cbaf3240141003462e1
ef0de5525ec9d0a8679525f1753fea00
05703552841fe4f579d1c75bd4b8d8a1
Представим список большой как удалить из этих строк "05703552841fe4f579d1c75bd4b8d8a1" вместе с оригиналом что бы получить на выходе:
2363f2308fe82cbaf3240141003462e1
ef0de5525ec9d0a8679525f1753fea00

Любой текстовый редактор -> заменить 'hash' на ' '

Если удалять списком то можно как то так:

Код:

Code:
#!/usr/bin/env python
al = []
fi = []
with open('откуда удаляем.txt') as f:
    al = f.read().splitlines()
with open('что удаляем.txt') as f:
    fi = f.read().splitlines()
ss = set(al) -  set(fi)
print ss

23.11.2015, 13:47

Found

Guest

Сообщений: n/a

Провел на форуме:
17462

Репутация: 23

Без Скрипта, и не вручную, еще варианты есть? -онлайн сервис например

По скрипту я и сам могу удалить но это геморно каждый раз

23.11.2015, 16:12

grimnir

Guest

Сообщений: n/a

Провел на форуме:
216062

Репутация: 231

TextPipe так без проблем сделает /threads/403345/

06.01.2016, 22:09

xusanokaz

Guest

Сообщений: n/a

Провел на форуме:
12783

Репутация: 0

FlodDublicarot в помощь

07.02.2016, 03:29

Found

Guest

Сообщений: n/a

Провел на форуме:
17462

Репутация: 23

Цитата:

Сообщение от grimnir

grimnir said:
↑
TextPipe так без проблем сделает
/threads/403345/

3.5 Gb файл -нажал удалить дубликаты на файл, вышла консоль и все черный экран малевича

Цитата:

Сообщение от xusanokaz

xusanokaz said:
↑
FlodDublicarot в помощь

Ссылко по названию в гугле ничего не находит

08.02.2016, 12:48

grimnir

Guest

Сообщений: n/a

Провел на форуме:
216062

Репутация: 231

08.02.2016, 17:35

pw0ned

Guest

Сообщений: n/a

Провел на форуме:
33728

Репутация: 14

TextUtils by Lays

Присутствует удаление дубликатов.

08.02.2016, 18:06

grimnir

Guest

Сообщений: n/a

Провел на форуме:
216062

Репутация: 231

Цитата:

Сообщение от pw0ned

pw0ned said:
↑
TextUtils by Lays
Присутствует удаление дубликатов.

я так понял ему не удаление надо дубликатов,а удаление из списка другово списка с удалением дубликатов. А то так ULM вне конкуренции http://unifiedlm.com/Home

#10

08.02.2016, 20:39

lifescore

Guest

Сообщений: n/a

Провел на форуме:
213865

Репутация: 72

Цитата:

Сообщение от grimnir

grimnir said:
↑
я так понял ему не удаление надо дубликатов,а удаление из списка другово списка с удалением дубликатов. А то так ULM вне конкуренции
http://unifiedlm.com/Home

согласен, CLI версия

пример сравнения 2ух баз по 300 метров каждая. Сравнение и удаление строк которые присутствуют в сравниваемой базе.

2 базы по 300метров (600мб в сумме) - за 12 сек управилось.

Спокойно берет и 28 гб файлики. Наверно, из софта выше, только textpipe сможет также, но примерно за месяц...

Страница 1 из 2

« Предыдущая тема | Следующая тема »

Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)

Быстрый переход