Faits: A. Par jugement du 20 avril 2010, le Tribunal de police de l'arrondissement de l'Est vaudois a condamné X._, pour conduite d'un véhicule en état d'ébriété qualifiée, à 37 jours-amende, d'un montant unitaire de 300 francs. Il a en outre révoqué le sursis assortissant une peine pécuniaire de 60 jours-amende, à 300 fr. l'un, prononcée pour une infraction similaire le 8 mai 2008. Par arrêt du 8 juin 2010, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de X._. Par arrêt du 7 avril 2011 (6B_855/2010), la Cour de droit pénal du Tribunal fédéral a partiellement admis le recours de X._, a partiellement annulé l'arrêt attaqué et renvoyé la cause en instance cantonale pour nouvelle décision. B. Par arrêt du 24 juin 2011, la Cour de cassation pénale du Tribunal cantonal vaudois a partiellement admis le recours, réformé le jugement du 20 avril 2010 en ce sens qu'elle a suspendu la peine de 37 jours-amende et fixé au condamné un délai d'épreuve de 5 ans, le jugement étant confirmé pour le surplus. C. X._ forme un recours en matière pénale contre cet arrêt et conclut, sous suite de frais et dépens, principalement à sa réforme en ce sens que le sursis accordé par le jugement du 8 mai 2008 n'est pas révoqué, la nouvelle peine de 37 jours-amende n'étant quant à elle pas assortie du sursis. Subsidiairement, il conclut à l'annulation et au renvoi de la cause en instance cantonale pour nouvelle décision. La cour cantonale s'est référée à son arrêt et le Ministère public a conclu au rejet du recours. 