Fatti: A. A.a Per decisioni del 13 febbraio 2008 l'Ufficio AI del Cantone Ticino (UAI) ha attribuito a M._, nato nel 1962 e già attivo quale aiuto gessatore, una rendita intera dal 1° dicembre 2004 al 31 agosto 2005 nonché una mezza rendita dal 1° settembre 2005 al 31 maggio 2006. Adito su ricorso dell'interessato, il Tribunale delle assicurazioni del Cantone Ticino ha annullato la decisione amministrativa nella misura in cui si era pronunciata sul diritto alla prestazione dal 1° settembre 2005 e ha rinviato gli atti all'UAI per ulteriori accertamenti di natura medica (giudizio del 22 aprile 2009). A.b Affidata una perizia pluridisciplinare (reumatologica, neurologica e psichiatrica) al Servizio accertamento X._, gli esperti incaricati hanno accertato nel loro rapporto del 21 dicembre 2009 che l'assicurato presentava dal 1° marzo 2006 un grado di capacità lavorativa residua del 60% nella professione abituale - la diminuzione essendo da ricondurre ad alcune limitazioni di natura reumatologica ed essendo motivata da una riduzione di rendimento - nonché una piena abilità in attività sostitutive confacenti al suo stato di salute. Con progetto di decisione del 26 luglio 2010 l'amministrazione ha di conseguenza confermato la decisione di soppressione della mezza rendita dal 1° giugno 2006. Con osservazioni del 2 settembre 2010 l'interessato ha contestato il predetto progetto di decisione sollevando una serie di questioni. Dopo avere invitato il Servizio accertamento X._ - il quale rendeva poi il suo complemento in data 30 novembre 2010 - a prendere posizione sulle osservazioni dell'assicurato e avere inoltre commissionato una nuova valutazione psichiatrica al Centro peritale Y._ - il quale nel proprio referto del 10 febbraio 2011 confermava le conclusioni cui era pervenuto il Servizio accertamento X._ -, l'UAI per decisione del 28 febbraio 2011 ha ribadito il rifiuto di erogare una rendita AI dal 1° giugno 2006. B. Con pronuncia del 23 novembre 2011 il Tribunale cantonale delle assicurazioni ha respinto il ricorso dell'assicurato che chiedeva l'annullamento della decisione amministrativa, l'allestimento di una nuova perizia interdisciplinare e l'assegnazione di una rendita intera d'invalidità. C. M._ ha presentato ricorso al Tribunale federale al quale chiede, in via principale, il riconoscimento di una rendita intera e, in via subordinata, il rinvio degli atti all'UAI per complemento istruttorio e nuova decisione. L'UAI propone la reiezione del gravame, mentre l'Ufficio federale delle assicurazioni sociali non si è determinato. 