По умолчанию обычно network order у битиков. ntohl htonl и их собратья в помощь ( не знаю есть их аналог в ББ или нет).
В RTP это не засада, это как раз нормально. Вот в rtmp там засада, когда оказывается, что часть полей ВНЕЗАПНО на самом деле едут не в network order'e.