Как задать порт в параметрах команды ssh?
Для команды ssh - флаг -p и порт:ssh -p 2222 user@host
Для scp - флаг -P (заглавная) и порт:scp -P 2222 /local/file user@host:/remote/file
Для rsync - через флаг -e можно указать кастомный шелл, соответственно отдаем туда ssh с флагом -p:rsync -e 'ssh -p 2222'

UPD: Помимо этого можно в папке ~/.ssh (там где ключи) создать файл с именем config (без расширения) и задать там нужным хостам алиасы и многие настройки, включая порт, пользователя по умолчанию и альтернативный ключ, после чего во всех ssh утилитах можно будет писать только алиас:ssh alias
Документация по доступным параметрам
Плагин к vscode для подсветки и автодополнения в файле ~/.ssh/config
Флаг -p номер_порта