Если ты говоришь, что чел на почту заходит редко, то что ты так о его пароле заботишься? Как вариант, входи в почту, сменив пароль.
Далее:
- ставь редирект всех писем на свой ящик (лучше просто создай похожий).
- письма не удаляй, а прочтенные помечай обратно "непрочтенными"
- не меняй ответ на секретный вопрос
- сними галки в разделе "безопасность", чтобы при желании мог даже через сессию зайти.

Если у чела не получится войти на почту, он воспользуется всё той же функцией восстановления и может даже не догадаться, что его ящик кто-то смотрел.

+ среди почты может оказаться какая-нить форма регистрации на форуме/чате/анкете и т.д., в которой будет указана инфа пользователя с паролем. А пароль может совпадать с тем, что в оригинале был у ящика.