Создание свого аудиоформата, с чего начать?
С чтения спек по существующим форматам, с выяснения "почему они сделали именно так", и с вникания в xkcd.ru/927UPD: Пожалуй, дополню, чтобы получше донести мысль. 
Уже существуют медиаконтейнеры. Они позволяют упаковать внутрь медиаконтент, указать какой кодек используется, и еще всякие мелкие плюшки типа DRM. Чтобы получить известность и поддержку в разных операционках и устройствах, ваш новый формат должен в чем-то превосходить существующие.
Если вдруг вы собрались создавать аудиокодек а не формат, опять таки, следует ознакомиться с вашими конкурентами. Никто не станет запиливать в железо поддержку кодека, который дает плохое качество или плохой битрейт.
Если вы пишете "для себя" - начните с обработки сигналов, например. Там и про компрессию есть.
С написания диссертации по обработке сигналов. Ну или со знакомства с человеком, который пишет диссертацию по обработке сигналов.
Почему? Потому что чтобы превзойти существующие решения хотя бы в какой-то нише (напр., приемлемое качество речи при очень низком битрейте, или lossless-кодирование с высокой степенью сжатия) нужно хорошо поработать. Потом еще провести десяток-другой серьезных экспериментов, чтобы доказать преимущества вашего подхода в конкретных случаях (см. выше). Тогда в вашем кодеке будет реальная ценность, и вас, возможно, услышат серьезные люди.
А "для себя" - Stalker_RED уже все сказал: изучите теорию, и существующие решения. Узнаете столько всего, что с вероятностью 98% перехочется делать свое. Зато будете знать, как делают другие.