Сама ошибка кроется в том, что, первое, иногда не позволяет имя хоста (хост кирилицей или использует символы, которые не понимает OpenSSL). Второе, если вы используете самоподписанный сертификат, то нужно отключить его проверку, её он точно не пройдет --no-check. Третье, попробуйте сменить тип шифрования. (В метасплоите такие штуки обычно в дополнительных опциях (show advanced)). Обновление OpenSSL и Метасплоита тоже может помочь. А ещё не забудьте проверить время что оно правильное.