Попробуй выключить шифрование в настройках подключения с машины которой подключаешься.
Очень мало данных, ваапще странно что без каких-либо настроек работает сервер. Если бы ты на Фряхе поднимал ещё подсказал бы, а так это ппц.
1) шифрование мне нужно.
2) ничего странного в том что сервер работал "без настроек" нет, т.к. он работал с дефолтными настройками, в которых отключено шифрование и еще много чего... что какраз таки и показывает почему он отвергал соединение, на это были 2 причины:
1) настройки клиента не соответствовали дефолтным настройкам сервера
2) файл с юзерами на сервере был пуст => никто не смог бы подключится