Faits: A. A.a Ressortissant d'ex-Yougoslavie né le 3 février 1977, X._ est arrivé en Suisse avec ses parents le 1er décembre 1991. Sa demande d'asile a été définitivement rejetée le 23 mai 1995. L'intéressé a épousé le 24 mai 1996 une Italienne au bénéfice d'une autorisation d'établissement et a obtenu une autorisation de séjour au titre du regroupement familial. Les époux se sont séparés plusieurs fois à partir du 8 décembre 1999 et ils ont divorcé le 3 juin 2005. A.b X._ a fait l'objet de différentes condamnations pénales. Ainsi, il s'est vu infliger les peines suivantes: - sept mois d'emprisonnement avec sursis pendant deux ans pour vol en bande, tentative de vol en bande, dommages à la propriété et voies de fait, par jugement du Tribunal correctionnel du district de Lausanne du 26 novembre 1999; - 340 fr. d'amende pour avoir logé des étrangers en situation illégale, par prononcé préfectoral du 6 septembre 2002; - cinq jours d'emprisonnement avec sursis pendant deux ans et 600 fr. d'amende pour ivresse au volant et conduite d'un véhicule sans permis, par ordonnance de condamnation du Juge d'instruction de l'arrondissement de Lausanne du 6 décembre 2002; - douze mois d'emprisonnement, avec expulsion du territoire suisse pour une durée de cinq ans et révocation du sursis accordé le 6 décembre 2002, pour vol en bande, tentative de vol en bande, dommages à la propriété, violation de domicile et contravention à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (loi sur les stupéfiants, LStup; RS 812.121), par jugement du Tribunal correctionnel de la Côte du 24 janvier 2006, confirmé par arrêt de la Cour de cassation du Tribunal cantonal vaudois du 10 mars 2006. Le 27 novembre 2007, le Grand Conseil vaudois a rejeté la demande de grâce présentée par X._. A.c Le 7 août 2007, le Service de la population du canton de Vaud (ci-après: le Service cantonal) a refusé de renouveler l'autorisation de séjour de X._ en raison de ses condamnations pénales, de sa situation financière obérée et de son instabilité professionnelle. Par arrêt du 31 décembre 2008, la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: le Tribunal cantonal) a confirmé cette décision. B. Le 3 février 2009, X._ a épousé Y._, une compatriote titulaire d'une autorisation d'établissement qui était son amie intime depuis 2003, voire 2000. Un fils issu de cette relation est né le 13 décembre 2005 et a été reconnu par son père le 26 octobre 2007. La mère avait déjà une fille née en 2000 d'une précédente union. Le 18 juin 2009, X._ a déposé une demande d'autorisation de séjour au titre du regroupement familial. Le 1er octobre 2009, il a confirmé cette requête. Le 1er mars 2010, le Service cantonal a refusé l'autorisation de séjour sollicitée pour des motifs préventifs de protection de l'ordre et de la sécurité publics. C. X._ a alors porté sa cause devant le Tribunal cantonal qui, par arrêt du 11 février 2011, a rejeté le recours et confirmé la décision du Service cantonal du 1er mars 2010. D. Le 16 mars 2011, X._ a formé un recours en matière de droit public au Tribunal fédéral contre l'arrêt du Tribunal cantonal du 11 février 2011. Il conclut, sous suite de frais et dépens, principalement à ce que l'arrêt attaqué soit réformé en ce sens que le refus d'octroyer une autorisation de séjour au titre du regroupement familial soit annulé, que ladite autorisation lui soit accordée et que le délai lui ayant été imparti pour quitter la Suisse soit annulé. Subsidiairement, il demande que l'arrêt entrepris soit annulé, la cause étant renvoyée à l'autorité cantonale de dernière instance pour nouvelle décision dans le sens des considérants. X._ requiert l'assistance judiciaire. Le Tribunal cantonal et le Service cantonal ont renoncé à répondre au recours. L'Office fédéral des migrations n'a pas déposé de déterminations dans le délai imparti à cette fin. E. Par ordonnance du 28 mars 2011, le Président de la IIe Cour de droit public a admis la demande d'effet suspensif contenue dans le recours. 