ну а пока переписал немного функцию поиска дубликатов, теперь потребляет памяти в два раза меньше чем в прошлом варианте.

качать там же:

wordlistcleaner2

duplicate_seacher