Faits: A. B._, né en 1964, de nationalité turque, a déposé une demande d'asile en Suisse en décembre 1986 sous le nom de E._. Cette demande ayant été rejetée, B._ est retourné en Turquie en août 1988. Il est revenu en Suisse sous la même identité en décembre de la même année et a obtenu une autorisation de séjour en raison de son mariage avec une citoyenne turque titulaire d'une autorisation d'établissement. Le mariage ayant pris fin en 1995, B._ faisant l'objet de plusieurs procédures pénales et sa situation financière étant obérée, les autorités compétentes ont refusé de prolonger son autorisation de séjour et prononcé à son encontre une interdiction d'entrer en Suisse jusqu'au 18 décembre 1997. Le 22 décembre 1998, B._ a déposé une nouvelle demande d'asile. L'Office fédéral des réfugiés, actuellement l'Office fédéral des migrations (ci-après l'Office fédéral), a refusé d'entrer en matière sur cette demande et prononcé le renvoi de Suisse du requérant. Pendant la procédure de recours, B._ a épousé une citoyenne turque reconnue comme réfugiée en Suisse. Le 23 août 2000, l'Office fédéral a constaté que B._ ne remplissait pas à titre personnel les conditions pour obtenir le statut de réfugié, mais, en raison de son mariage, il a reconnu à B._ la qualité de réfugié et lui a octroyé l'asile à titre dérivé. En 2001, alors qu'il travaillait comme chauffeur de taxi, B._ a été impliqué dans une rixe avec des clients, pour laquelle il a été condamné, le 15 septembre 2003, à trente jours d'emprisonnement avec sursis. A la suite de cet événement, B._ a souffert de troubles psychologiques qui l'ont amené à arrêter toute activité professionnelle. S'étant séparé de son épouse, B._ s'est installé en Valais à partir du mois d'août 2002. Le Service valaisan de la population et des migrations (ci-après le Service cantonal) lui a délivré une autorisation de séjour, le 6 février 2003, en raison de son statut de réfugié. Le divorce a été prononcé le 14 mai 2003. Le 6 août 2004, B._ a épousé sa cousine A._, citoyenne turque née en 1971. Ils ont eu deux enfants, C._, né le *** 2005, et D._, née le *** 2006. Par jugement du 10 septembre 2007, B._ a été condamné à trois ans d'emprisonnement pour lésions corporelles graves, mise en danger de la vie d'autrui, lésions corporelles simples et rixe, en raison d'une bagarre au couteau à laquelle il avait pris part en mai 2003, ainsi que pour d'autres infractions, soit vol, dommages à la propriété, violation grave des règles de la circulation et ivresse au volant qualifiée. Sur appel, confirmé par le Tribunal fédéral le 26 décembre 2008 (affaire 6B_604/2008), la peine a été assortie d'un sursis partiel portant sur dix-huit mois. Le 23 novembre 2009, B._ a été incarcéré aux établissements pénitenciers F._ afin de purger sa peine. B. Le 24 août 2009, à la demande du Service cantonal, l'Office fédéral a rendu un rapport relatif à la conformité au regard du droit public international d'une éventuelle expulsion administrative de B._ vers la Turquie. Le 30 novembre 2009, le Service cantonal a informé les époux A.B._ qu'il avait l'intention de ne pas prolonger leur autorisation de séjour et de prononcer leur renvoi de Suisse. Par décision du 18 mars 2010, le Service cantonal a refusé de renouveler l'autorisation de séjour de B._ et prononcé son renvoi de Suisse dès sa sortie de prison. Le recours interjeté par l'intéressé devant le Conseil d'État du canton du Valais a été rejeté le 17 août 2011. B._ a recouru au Tribunal cantonal du canton du Valais (ci-après le Tribunal cantonal) contre la décision du Conseil d'État. Par arrêt du 20 janvier 2012, ce recours a été rejeté. Les juges cantonaux ont retenu, en substance, que la condamnation de l'intéressé à trois ans d'emprisonnement était suffisamment grave pour justifier le non-renouvellement de son autorisation de séjour, que son intégration en Suisse n'était pas particulièrement réussie et que sa réinsertion en Turquie, avec son épouse et leurs deux jeunes enfants, ne devrait pas poser de problèmes insurmontables. C. Par acte du 22 février 2012, B._ dépose un recours en matière de droit public au Tribunal fédéral. Il conclut, sous suite de frais et dépens, à l'annulation de la décision rendue par le Service cantonal et à la prolongation de son autorisation de séjour. Subsidiairement, il requiert le renvoi de la cause au Service cantonal pour nouvelle décision dans le sens des considérants. Le Conseil d'État du canton du Valais a conclu au rejet du recours, sous suite de frais. Le Tribunal cantonal et le Service cantonal ont renoncé à se déterminer. De son côté, l'Office fédéral a proposé le rejet du recours. B._ a déposé une ultime détermination le 9 juillet 2012. 