... Не хранится в самом архиве ни пароль, ни хеш от пароля.
Принцип разархирование прост - при вводе пароля, из него 262144 раз вычисляется хеш по алгоритму SHA1, и полученным ключом WinRAR пытается расшифровать (по AES) и разархировать файлы (тут не проверяется правильный пароль или нет). После того как файлы расшифрованы и разархированы, из них вычисляется контрольная сумма по CRC32, и эта сумма сравнивается с той суммой которая прописана в самом архиве.
Если эти суммы совпадает - мы получает расшифрованные файлы, а если не совпадает, то получаем предупреждение что контрольная сумма и пароль неправильны. Нет в RAR других проверок правильности пароля — только вот это проверка контрольный суммы «готового продукта».
Тут просто нечего ломать. Любые попытки сломать сам WinRAR или архив приведет к тому, что файлы будут расшифрованны не правильно.