Faits: A. X._, ressortissant turc né en 1980, est entré en Suisse le 17 juillet 2001. Il y a déposé une demande d'asile, laquelle a été rejetée le 14 août 2002. Il a été autorisé à attendre en Suisse l'issue de la procédure de recours qu'il avait diligentée contre ce prononcé. X._ a travaillé, dès janvier 2003, en qualité de vendeur dans un restaurant vendant des spécialités turques, puis d'aide de cuisine. Le 15 mars 2003, X._ a épousé une ressortissante de l'ex-Serbie et Monténégro titulaire d'une autorisation d'établissement, ce qui lui a permis de bénéficier d'une autorisation annuelle de séjour. Celle-ci étant parvenue à échéance le 15 mars 2004, il en a demandé le "renouvellement", notamment le 17 avril 2004, le 18 janvier 2005, le 7 août 2006 et le 9 janvier 2007. Le Service de la population du canton de Vaud (ci-après: le Service de la population) n'a pas rendu de décision à la suite de ces requêtes. Avant son divorce, prononcé le 15 mai 2007, X._ a vécu en ménage commun, dès le 1er février 2004, avec sa compatriote Y._, titulaire d'un permis d'établissement et alors elle-même en instance de divorce. De cette union est née une fille, en 2004. B. X._ a été détenu préventivement du 12 octobre 2004 au 26 janvier 2005 parce qu'il était soupçonné de s'être livré à un trafic de drogue. De fait, il a été définitivement condamné le 5 novembre 2007 par la Cour de cassation pénale du Tribunal cantonal du canton de Vaud à trois ans et demi de réclusion, sous déduction de 107 jours de détention préventive, pour infraction grave à la loi fédérale sur les stupéfiants (LStup; RS 812.121) et pour blanchiment d'argent. Il avait en effet accepté d'entreposer, à la demande d'un compatriote et par amitié, deux kilos d'héroïne dans sa cave. A la suite de l'emprisonnement de l'ami en question, il s'était trouvé en possession de cette importante quantité d'héroïne sans avoir eu à la payer. Il l'a alors vendue. X._ a bénéficié de l'aide sociale à concurrence de 3'280 fr. du 1er juin au 31 juillet 2004 et pour un montant de 39'133 fr. 40 du 1er février au 31 décembre 2005. Dès le 1er mai 2007, il a travaillé à 50% dans le restaurant que sa compagne, Y._, exploitait. Le 26 décembre 2007, X._ a épousé Y._ avec laquelle il avait eu une deuxième fille, née en 2006. Depuis l'incarcération de X._, le 6 octobre 2008, sa famille vit également de l'aide sociale, sa femme ayant cessé d'exploiter l'établissement public dont elle s'occupait. Au 23 janvier 2009, Y._ faisait l'objet de vingt-trois poursuites pour un montant de 41'315 fr. 60 et vingt-deux actes de défauts de biens pour un total de 35'512 fr. 65 avaient été délivrés à son encontre. C. Par décision du 2 avril 2009, le Service de la population a refusé le renouvellement de l'autorisation de séjour de X._ en raison, notamment, de la condamnation pénale à trois ans et demi de réclusion dont il avait fait l'objet. Il lui a imparti un délai d'un mois dès la fin de sa détention pour quitter la Suisse. Contre cette décision, X._ a recouru auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal), lequel a rejeté son recours par arrêt du 10 février 2010. En substance, le Tribunal cantonal a retenu que la gravité des faits ayant conduit à la condamnation pénale de l'intéressé, ainsi que la situation économique de celui-ci - recours à l'aide sociale - permettaient d'exiger un départ de Suisse en dépit des conséquences que cela ne manquerait pas d'avoir sur la poursuite de sa vie de famille. D. X._ a recouru auprès du Tribunal fédéral contre l'arrêt du 10 février 2010 du Tribunal cantonal. Il se prévaut de la violation du droit des étrangers et de l'art. 8 CEDH. X._ requiert également le bénéfice de l'assistance judiciaire. Invité à se déterminer sur le recours, le Tribunal cantonal s'est référé aux considérants de l'arrêt attaqué. Le Service de la population a renoncé à se déterminer sur le recours, alors que l'Office fédéral des migrations a conclu à son rejet. Par ordonnance du 29 avril 2010, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la demande d'effet suspensif. 