Как публиковать .NET Core приложение только с необходимым набором библиотек?
То, что не используется у вас, не значит, что не используется подключенными библиотеками. При публикации лишнего точно не добавляется.
У вас в референсах либо ссылка на пакет NetCoreApp, либо на какой-нибудь Net Standart(пакет совместимости).
Каждая из них может тянуть за собой простыню dll-oк.