Faits: A. Par arrêt du 2 mars 2009, la Cour d'assises du canton de Genève a condamné X._ pour viol à une peine privative de liberté de 6 ans. Le 15 octobre 2010, le Tribunal d'application des peines et mesures du canton de Genève (TAPEM) a prononcé la libération conditionnelle de X._ pour le 29 octobre 2010, le solde de la peine à exécuter étant de 2 ans. Il a ordonné à titre de règle de conduite durant le délai d'épreuve, fixé à 2 ans, le suivi d'un traitement ambulatoire psychothérapeutique et addictologique (alcool et stupéfiants) avec obligation de remettre une attestation au Service d'application des peines et mesures (SAPEM) tous les trois mois. Il a également ordonné une assistance de probation durant le délai d'épreuve, X._ devant se présenter au Service de probation et d'insertion (SPI) au moins une fois par mois. Par jugement du 7 avril 2011, le TAPEM a ordonné la réintégration de X._ pour le solde de la peine prononcée le 2 mars 2009. B. Par arrêt du 5 juillet 2011, la Chambre pénale d'appel et de révision de la Cour de justice genevoise a rejeté le recours de X._ contre ce jugement. C. X._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt. Il conclut, sous suite de dépens, à son annulation. Il sollicite par ailleurs l'assistance judiciaire. La cour cantonale se réfère à son arrêt. Le Ministère public conclut au rejet du recours. 