Как оптимизировать JS код?
вы мол переживаете что пользователи грузят аж 100 килобайт js-а? я уверен что после минификации/аглификации + gzip оно будет весить килобайт 20. А если кеширование браузера настроить нормально то оверхэда не будет.
В остальном, читаем ответ @Satanpit.
Модульный подход, в основном, предназначен для удобства использования/изменения и структурирования кода, и да, с ним бы я советовал Вам заморочиться,  потому что если и не Вам то кому-то другому придется его поддерживать, а в силу того что это файл с кучей непонятных ф-й и плагинов, даже Вы через какое-то время забудете что же происходит в том или ином участке кода. Так же модульный подход предполагает многократное его использование, что тоже не мало важно.
По поводу оптимизации - нужно видеть код. В общем это использование делегированных событий там где это нужно, использование DocumentFragment для вставки в DOM, грамотное использование jQuery, CSS3 анимация и т.д. Обо всем этом Вы можете найти множество статей и примеров.