Минимальная версия Ubuntu Server 18.04?
зачем удалять чтото ??
если можно взять минимал версию и доустановить только то что нужно.
https://help.ubuntu.com/community/Installation/Min...
обрезку пакетов я бы посоветовал начать с установки aptitude.
в нем в интерактивной консольке удобно прогуляться по списку пакетов и разобраться что нужно, а что нет.
если нужны - оставить, если не нужны - удалить.
если непонятно, что за пакет, нужен он али нет - то отметить его как поставленный автоматически. если не будет пакетов, зависящих от него, то он автоматически удалится из системы.
также необходимо удалить/отключить все лишние сервисы/логгирование для того, чтобы сохранить работоспособность и не убить USB флешку.
Логирование отключать не стоит. Можно сделать диск в памяти и смонтировать его в /var/log, тогда флэшка останется не тронутой. Разберитесь с настройками syslogd и уменьшите до минимума потребляемое логами дисковое пространство. 
Так же, видимо, нужно поступить и с /tmp и возможно с чем-нибудь еще. 
Размер дисков в памяти выясните опытным путем.
Из того что можно отключить - GUI однозначно, это значительно облегчит дистрибутив.