Faits: A. X._, ressortissant italien né en 1978, est entré en Suisse le 24 décembre 1998, dans le cadre d'un regroupement familial avec son épouse. Il a été mis au bénéfice d'une autorisation de séjour, laquelle a été régulièrement prolongée jusqu'au 30 mai 2009. Le couple s'est séparé en 2004 et a divorcé en 2006. Du point de vue professionnel, X._ a travaillé auprès d'un même employeur de 1999 à 2003, avant de se retrouver au chômage. Il a par la suite alterné travaux à durée limitée et courtes périodes de chômage jusqu'au 16 octobre 2009, date à laquelle il est entré en qualité de serrurier au service d'une société à A._ (VS). B. Durant son séjour en Suisse, X._ a fait l'objet, à partir de 2004, des procédures et mesures pénales et administratives suivantes: - En 2006, le Juge d'instruction du Valais central l'a condamné à quinze jours d'emprisonnement avec sursis et à une amende pour contravention et délit à la loi fédérale sur les stupéfiants (LStup). - En 2007, le Tribunal du district de Sierre l'a condamné à douze mois de prison avec sursis pour vols en bande, dommages à la propriété et violations de domicile, infractions commises en 2004. - Le Service de la population et des migrations du canton du Valais (ci-après: le Service cantonal) a, le 14 août 2009, adressé un "sérieux avertissement" à l'intéressé, en lui indiquant qu'une nouvelle condamnation pénale pourrait entraîner le non-renouvellement de son autorisation de séjour et son renvoi de Suisse. - En 2009, le Tribunal du district de Sierre a condamné X._ à une peine privative de liberté de trois ans et demi, réduite à trente-six mois en appel et confirmée par arrêt du Tribunal fédéral du 2 juillet 2010 (cause 6B_390/2010), pour contravention et crime contre la LStup. Ayant commencé à purger sa peine en juillet 2010, l'intéressé pouvait, au plus tôt, espérer être libéré conditionnellement en juillet 2012. C. Le 8 novembre 2010, après avoir entendu X._, le Service cantonal a décidé de ne pas renouveler l'autorisation de séjour UE/AELE en sa faveur et a prononcé son renvoi de Suisse dès sa sortie carcérale. Le recours que l'intéressé a formé contre cette décision a été rejeté par décision du Conseil d'Etat du canton du Valais (ci-après: le Conseil d'Etat) du 17 août 2011. Par arrêt du 26 janvier 2012, la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal) a rejeté le recours formé par X._ à l'encontre de la décision du Conseil d'Etat. D. Agissant par la voie du recours en matière de droit public, X._ conclut, sous suite de frais et dépens, à l'annulation de l'arrêt du 26 janvier 2012 et à la prolongation, respectivement au renouvellement de l'autorisation de séjour B CE/AELE en sa faveur. Le Tribunal cantonal renonce à se déterminer sur le recours. Le Conseil d'Etat et l'Office fédéral des migrations concluent à son rejet. Par courrier séparé du 29 février 2012, X._ a demandé sa mise au bénéfice de l'assistance judiciaire partielle. Il a en outre adressé plusieurs courriers avec annexes au Tribunal fédéral en date des 6 juin, 11 et 13 juillet 2012, en requérant leur versement à la procédure. 