Fatti: A. A._ (1973), di cittadinanza britannica e slovena, è nato in Svizzera dove è stato posto a beneficio di un permesso di domicilio. Nel 1994, egli si è sposato con una cittadina italiana, dalla quale ha divorziato nel 1999. Durante il suo soggiorno in Svizzera, A._ ha interessato le autorità amministrative e le autorità penali nei seguenti termini: - decreto d'accusa del 1. luglio 1993: condanna alla multa di fr. 220.-- per abuso di telefono; - decreto d'accusa del 1. giugno 1994: condanna alla multa di fr. 400.-- per violazione alla LF del 3 ottobre 1951 sugli stupefacenti e sulle sostanze psicotrope (LStup; RS 812.121); - 16 giugno 1994: multa dipartimentale di fr. 50.-- e commutazione delle multe inflittegli il 1. luglio 1993 e il 1. giugno 1994 in 17 giorni di arresto; - 18 settembre 1997: revoca della licenza di allievo conducente a tempo indeterminato; - 20 aprile 1999: 1. ammonimento da parte delle autorità competenti in materia di stranieri; - 27 aprile 2000: condanna alla multa di fr. 600.-- per infrazione alla LStup e alla LF del 19 dicembre 1958 sulla circolazione stradale (LCStr; RS 741.01); - 23 gennaio 2001: 2. ammonimento da parte delle autorità competenti in materia di stranieri; - 23 febbraio 2001: multa dipartimentale di fr. 40.--. - sentenza della Corte delle assise correzionali di Mendrisio del 26 marzo 2002: condanna - avendo agito in stato di lieve scemata responsabilità - alla pena detentiva di 21 mesi da espiare dopo essere stato riconosciuto colpevole di furto per mestiere, danneggiamento, furto d'uso, furto, violazione di domicilio, infrazione e contravvenzione alla LStup, appropriazione indebita; - sentenza della Corte delle assise correzionali di Lugano del 13 maggio 2004: condanna - quale recidivo - alla pena detentiva di 10 mesi da espiare dopo essere stato riconosciuto colpevole di ripetuto furto, abuso di un impianto per l'elaborazione di dati, ripetuta circolazione malgrado revoca, ripetuta contravvenzione alla LStup; - 28 gennaio 2005: 3. ammonimento da parte delle autorità competenti in materia di stranieri; - sentenza della Corte delle assise correzionali di Lugano del 6 ottobre 2006: condanna - quale recidivo agente in stato di scemata responsabilità - alla pena detentiva di 21 mesi da espiare e al pagamento di indennità per un totale di fr. 28'468.25 dopo essere stato riconosciuto colpevole di ripetuto furto, in parte tentato, ripetuto danneggiamento, ripetuta violazione di domicilio, furto d'uso, guida senza licenza di condurre o nonostante la revoca della stessa, impedimento di atti dell'autorità, frode dello scotto, contravvenzione alla LStup. - 7 febbraio 2007: 4. ammonimento da parte delle autorità competenti in materia di stranieri; - sentenza della Corte delle assise correzionali di Mendrisio del 12 gennaio 2012: condanna alla pena detentiva di 10 mesi da espiare e al versamento agli accusatori privati di complessivi fr. 54'233.-- dopo essere stato riconosciuto colpevole di ripetuto furto, ripetuta appropriazione indebita, ripetuto danneggiamento, ripetuta violazione di domicilio, ripetuta truffa consumata e tentata, falsità in documenti, impedimento di atti dell'autorità, infrazione alle norme della circolazione, ripetuta guida senza licenza di condurre o nonostante la revoca della stessa, circolazione senza licenza, abuso della licenza e delle targhe, contravvenzione alla LStup, ricettazione. B. Sulla base dei fatti citati, richiamate segnatamente tutte le decisioni di ammonimento emesse nei suoi confronti e la sentenza del 12 gennaio 2012 dell a Corte delle assise correzionali di Mendrisio, il 20 marzo 2012 la Sezione della popolazione del Dipartimento delle istituzioni del Canton Ticino ha revocato il permesso di domicilio CE/AELS ad A._, per motivi di ordine pubblico. Essa gli ha quindi intimato di lasciare il territorio elvetico entro il 30 aprile 2012. Tale provvedimento è stato confermato su ricorso, dapprima dal Consiglio di Stato, con decisione dell'11 luglio 2012, quindi dal Tribunale cantonale amministrativo, che si è espresso in merito con sentenza del 28 gennaio 2013. Pronunciandosi sulla fattispecie, la Corte cantonale ha nel contempo confermato il giudizio del Consiglio di Stato anche per quanto riguarda le critiche di natura formale davanti ad esso formulate. Ha in effetti rilevato che, nonostante la Sezione della popolazione non avesse a torto dato al ricorrente la facoltà di esprimersi sui punti essenziali del provvedimento prima che venisse adottata la decisione di revoca, la violazione del suo diritto di essere sentito era stata sanata in sede di ricorso davanti al Governo. Sempre seguendo il parere espresso dal Consiglio di Stato, ha d'altra parte confermato che la decisione di revoca emessa nei confronti del ricorrente era accompagnata da una motivazione succinta ma comunque sufficiente a comprendere i motivi per cui il provvedimento in discussione era stato deciso. C. Quest'ultimo giudizio è stato impugnato davanti al Tribunale federale con ricorso in materia di diritto pubblico del 26 febbraio 2013. Con tale atto, A._ chiede l'annullamento di tutte le decisioni sin qui prese dalle autorità cantonali, la conseguente conferma del suo permesso di domicilio e l'assistenza giudiziaria. Il Tribunale cantonale amministrativo si è riconfermato nelle motivazioni e nelle conclusioni della propria sentenza. Ad essa hanno fatto in sostanza rinvio anche la Sezione della popolazione e l'Ufficio federale della migrazione. Il Consiglio di Stato si è invece rimesso al giudizio di questa Corte. 