Ваше решение стандартное и работать оно должно хорошо. Могупредположить - во время настройки СЕРВЕРА VNC где то была допущенна ошибка, и теперь идет блок клавы. По сути - VNC это и отображение экрана системы и ввод команд. Если подклчить по VNC андроид и при этом подключить мышку к малине, начать ей водить туда сюда - на смарте это будет видно.