Сначала шифровать или сжать?
после шифрования сжимать будет нечего.
Сжимать после шифрования бессмысленно, как уже сказали, сжимать до шифрования в некоторых случаях может быть потенциально опасно. Если у атакующего есть возможность контролировать часть шифруемых данных, инициировать процесс и получать доступ к результату, он может восстановить оставшуюся, неизвестную ему часть по размеру получившегося файла. Если внедренные данные дублируются в неизвестных и попадают в словарь при архивации - размер файла будет меньше. По такому принципу работает атака CRIME. Поэтому при высоких требованиях к безопасности лучше отказаться от сжатия совсем.