Faits: A. Par jugement du 14 septembre 2011, le Juge d'application des peines du canton de Vaud a libéré conditionnellement X._ de l'exécution de trois peines privatives de liberté, totalisant 46 mois, à compter du 15 septembre 2011. Il a fixé la durée du délai d'épreuve à un an, trois mois et neuf jours, ordonné une assistance de probation et dit que l'Office d'exécution des peines était chargé de mettre en oeuvre et surveiller les conditions de la libération conditionnelle. B. Par arrêt du 3 novembre 2011, la Chambre des recours pénale du Tribunal cantonal vaudois a admis le recours du Ministère public central du canton de Vaud et réformé le jugement de première instance en ce sens qu'il a révoqué la libération conditionnelle accordée à X._ et ordonné la réintégration du condamné. C. Contre ce dernier arrêt, X._ dépose un recours en matière pénale devant le Tribunal fédéral. Dénonçant la violation de la présomption d'innocence, l'arbitraire dans l'établissement des faits et une mauvaise application de l'art. 86 al. 1 CP, il conclut à la réforme de l'arrêt attaqué en ce sens que la décision du Juge d'application des peines octroyant la libération conditionnelle est confirmée. En outre, il sollicite l'effet suspensif et l'assistance judiciaire. Invité à se déterminer, le Ministère public central conclut au rejet du recours. Il produit une pièce nouvelle, qui sera écartée en application de l'art. 99 al. 1 LTF. La cour cantonale se borne à se référer aux considérants de sa décision. Informé de la réponse de la partie adverse et des observations de l'autorité précédente, le recourant dépose des déterminations complémentaires. 