Faits: A. X._, se disant ressortissant de Sierra Leone né en 1980, est entré illégalement en Suisse le 7 avril 1998. Le lendemain, il y a déposé une demande d'asile, laquelle a été rejetée le 10 mai 1999 par l'Office fédéral des réfugiés - devenu entre-temps l'Office fédéral des migrations. Le prénommé est toutefois resté en Suisse. Il est devenu père de deux garçons, à savoir de A._, né en d'une relation avec une ressortissante somalienne au bénéfice d'une admission provisoire, et de B._, né en 2006 de sa relation avec une citoyenne suisse, avec laquelle il avait entamé en 2005 une procédure de mariage n'ayant finalement pas abouti. En 2009, est née C._, fille de X._ et de Y._, citoyenne suisse, que celui-ci a épousée en 2011. X._ a fait l'objet des condamnations suivantes: - par ordonnance du 29 mars 2000, le Juge d'instruction de Genève l'a condamné pour infraction à la loi fédérale du 3 octobre 1951 sur les stupéfiants (LStup ; RS 812.121) à une peine de 30 jours d'emprisonnement; - par jugement du 11 mai 2000, le Tribunal correctionnel du district de la Vallée l'a condamné pour contravention et infraction grave à la LStup, recel et blanchiment à une peine de 20 mois d'emprisonnement, a ordonné la suspension de l'exécution de la peine et le placement de l'intéressé dans un établissement pour toxicomanes, ainsi que son expulsion du territoire suisse pour une durée de dix ans, avec sursis pendant cinq ans; - par ordonnance du 29 janvier 2002, le Juge d'instruction de Genève l'a condamné pour infraction (délit) à la LStup à une peine d'un mois d'emprisonnement; - par prononcé du 10 février 2006, la préfecture d'Yverdon lui a infligé une amende de 100 fr. pour avoir dissimulé en octobre 2004 des revenus alors qu'il était au bénéfice de l'aide sociale; - par jugement du 12 décembre 2007, le Tribunal correctionnel de la Broye et du Nord vaudois l'a condamné pour infraction (délit) à la LStup et contraventions à la loi sur les transports publics à une peine de cinq mois d'emprisonnement; - par jugement en la forme simplifiée du 30 mai 2011, le Tribunal d'arrondissement de la Broye et du Nord vaudois l'a condamné à une peine privative de liberté de 30 mois, dont 18 mois avec sursis et délai d'épreuve de quatre ans, ainsi qu'à une amende de 100 fr. pour infraction grave et contravention à la LStup, ainsi que pour infraction à la législation sur les étrangers. La sortie de prison de l'intéressé a été fixée au 16 novembre 2011. Par décision du 4 novembre 2008, le Service de la population du canton de Vaud a rejeté la demande de X._ tendant à l'octroi d'une autorisation de séjour sur la base de l'art. 14 al. 2 de la loi fédérale du 26 juin 1998 sur l'asile (LAsi; RS 142.31). La demande de de réexamen déposée par le prénommé contre ce prononcé a été rejetée par le Service de la population en date du 19 août 2009. Le 16 novembre 2010, X._ a été arrêté dans le cadre d'une opération policière anti-drogue. En 2011, alors qu'il se trouvait en détention provisoire, il a épousé Y._, citoyenne suisse, comme il a été dit. A la suite de cette union, il a déposé une demande d'autorisation de séjour aux fins de vivre avec son épouse et leur fille C._. Par courrier du 24 mai 2011, le Service de la population l'a informé de son intention de ne pas lui délivrer l'autorisation sollicitée, de lui impartir un délai pour quitter la Suisse et de proposer à son encontre une mesure d'interdiction d'entrée en Suisse, compte tenu de ses diverses condamnations pénales et du fait qu'il était impliqué dans une nouvelle affaire de stupéfiants. B. Après lui avoir donné la possibilité de s'exprimer, le Service de la population a refusé, par décision du 15 août 2011, de délivrer à X._ une autorisation de séjour au titre du regroupement familial et a prononcé son renvoi de Suisse, dès qu'il aurait satisfait à la justice. Contre cette décision, X._ a recouru à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après : le Tribunal cantonal), lequel a rejeté le recours par jugement du 9 janvier 2012. Cette autorité a considéré qu'au vu de la quotité et de la nature des condamnations prononcées à l'égard du prénommé, l'intérêt public à son éloignement de Suisse l'emportait sur son intérêt privé à demeurer dans ce pays auprès de sa famille. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral de réformer l'arrêt attaqué en ce sens que, principalement, une autorisation de séjour lui est octroyée et, subsidiairement, la cause est renvoyée à l'instance précédente pour complément d'instruction et nouvelle décision dans le sens des considérants. Il requiert également que son recours soit doté de l'effet suspensif et d'être mis au bénéfice de l'assistance judiciaire. Il n'a pas été requis de déterminations. Par ordonnance présidentielle du 14 février 2012, la requête d'effet suspensif a été admise. 