Где взять либу для статического анализа и компресии js кода?
jshint
jscs
uglify-js
https://codeclimate.com/
тесты-тесты-тесты
З.Ы. Будьте готовы к тому, что в случае работы в команде - 99.99% ваш gjs придется выкинуть. Очень рекомендую по тыкать на досуге live templates в WebStorm
Где можно почитать о "правильном" создании компилятора, а то сейчас один огромный костыль отсроенный на регулярках.
гуглить "лексеры, парсеры, абстратное синтаксическое дерево" и т.д. Вы можете взять свой синтаксис, построить AST, обработать его что бы вышел AST итогового JS-а и потом дампнуть его в JS (благо есть готовые библиотеки)
Но в целом лучше дождитесь web assembly и не заставляйте людей писать на вашем самодельном препроцессоре.
По поводу библиотек для статического анализа - eslint.org пожалуй самый мощный из имеющихся в опенсурсе.