С серверами по SSH я работаю уже более 15 лет, на текущий момент я подключаюсь к более чем 40-ка серверам, к некоторым несколько раз в день, к некоторым раз в несколько месяцев…
В целях безопасности практически на всех из них SSH передвинут на другой порт. Также за одним внешним адресом часто прячутся много серверов и соответственно они все не могут быть доступны по одному 22-ому порту. Ну и дополнительно при подключении может понадобится прокидывать ещё какие-нибудь порты или целиком делать SOCKS-прокси.
Читать далее Использование файла конфигураций .ssh/config для подключения к серверам по SSH