Как запаковать все библиотеки Qt в один файл, для распространения моей программы?
Да, нужно.
Если мне не изменяет память, для полностью статичной линковки нужно покупать лицензию.
1. Можно завернуть всё в единый бинарник инсталлера, скажем InnoSetup.
2. Можно линковаться статически, но либо предоставлять объектные файлы, либо открывать исходники. 
Все нужные либы подтягиваются через windeployqt