Как влияет импорт библиотек из пакета на производительность и размер байт кода Java?
Никак не влияет. Это просто указание компилятору и JVM, где брать нужные классы.
Как правильно написал уже MaxLich, на производительность это не влияет. Директива import просто позволяет вам не писать полностью квалифицированные имена классов, а компилятору понимать, что на то место в коде, где указан Map надо подставить java.util.Map. После компиляции в байткоде остаются только полные имена классов, директивы import не сохраняются, и никакого дополнительного кода в результирующий объектный модуль не загружается.
Зато импорт через звёздочку влияет на стоимость сопровождения. Плохо влияет. Во многих командах действует правило "Заимпортил звёздочку, получил по мордочке". И стайлер checkstyle ругается на неявные импорты.