Fatti: A. A._, cittadino del Kosovo, è giunto in Svizzera il 7 gennaio 1991. Egli è stato posto al beneficio di un permesso di dimora e, dal 1995, di un permesso di domicilio. Con sentenza del 5 aprile 2006, il Consiglio dei minorenni ha condannato A._, unitamente a B._, alla misura del collocamento in una casa di educazione a tempo indeterminato, ma almeno per due anni, dopo averlo ritenuto colpevole dei reati di assassinio, furto d'uso, guida senza licenza di condurre, grave infrazione e contravvenzione alla legge federale sulla circolazione stradale, ripetuta infrazione e ripetuta contravvenzione alla legge federale sugli stupefacenti e sulle sostanze psicotrope. Egli è quindi stato collocato presso un foyer dove, dopo essere fuggito il 29 giugno 2006, è stato riportato qualche giorno più tardi ed è rimasto fino al marzo del 2009, quando il Magistrato dei minorenni ha sostituito la misura del collocamento con quella della sorveglianza. B. Sulla base di questi fatti, dopo aver provveduto in tal senso anche nei confronti di B._, il 27 gennaio 2010 la Sezione della popolazione del Dipartimento delle istituzioni del Canton Ticino ha comunicato ad A._ la decadenza (recte: la revoca) del suo permesso di domicilio, per gravi motivi di polizia e di ordine pubblico. Esso gli ha quindi intimato di lasciare il territorio elvetico entro il 31 marzo successivo. Tale decisione è stata confermata su ricorso dal Consiglio di Stato il 26 maggio 2010 e, in seguito, dal Tribunale cantonale amministrativo, con sentenza del 31 agosto 2010. C. Il 6 ottobre 2010, A._ ha inoltrato un ricorso in materia di diritto pubblico al Tribunale federale con cui chiede l'annullamento della sentenza cantonale e la pronuncia di un ammonimento. Sia nel caso la sua domanda principale venisse accolta che in quello in cui fosse respinta, egli postula inoltre espressamente l'annullamento del p.to 2 del dispositivo della decisione del 26 maggio 2010 del Consiglio di Stato, che lo obbliga a pagare una tassa di giustizia di fr. 600.--, ed il riconoscimento di un adeguato importo a titolo di ripetibili, quale conseguenza della violazione del suo diritto di essere sentito da parte della Sezione della popolazione del Dipartimento delle istituzioni del Cantone Ticino, di cui chiede l'accertamento. Chiamato ad esprimersi, il Tribunale cantonale amministrativo si è riconfermato nelle motivazioni e nelle conclusioni della propria sentenza. Ad essa hanno fatto rinvio anche la Sezione della popolazione e l'Ufficio federale della migrazione. Il Consiglio di Stato si è invece rimesso al giudizio di questa Corte. 