Faits: A. X._, ressortissant colombien né le *** 1987, est entré en Suisse le 8 novembre 2009 (recte: 2008), sans visa. Le 24 février 2010, il a épousé A._, citoyenne suisse née le *** 1989, et a été mis au bénéfice d'une autorisation de séjour. Leur fille B._ est née le *** 2010. A la suite de difficultés conjugales, le couple X._ s'est séparé en octobre 2010. D'entente entre les parties, la garde de l'enfant a été confiée à sa mère. Le père bénéficie d'un droit de visite qui a été d'abord fixé à deux heures tous les quinze jours, puis élargi pour atteindre un samedi sur deux de janvier à août 2012 et, dès le 1er septembre 2012, à un week-end sur deux pour autant que le droit de visite se soit bien déroulé durant la première période. B. Par lettre du 10 mai 2011, le Service de la population du canton de Vaud (ci-après le Service de la population) a informé X._ qu'il avait l'intention de refuser la prolongation de son autorisation de séjour. Par décision du 8 août 2011, le Service de la population a refusé de prolonger l'autorisation de séjour de X._ au motif que la séparation d'avec son épouse était intervenue après seulement 11 mois de vie commune, qu'il n'était pas démontré que X._ entretenait des relations étroites et effectives avec sa fille, et qu'il ne pouvait se prévaloir d'une intégration particulièrement réussie ou de qualifications personnelles majeures qui justifieraient la poursuite de son séjour en Suisse. X._ a recouru contre cette décision devant la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après le Tribunal cantonal). Après plusieurs échanges d'écritures et une audience de comparution personnelle, le Tribunal cantonal a, par arrêt du 29 mai 2012, rejeté ce recours et confirmé la décision du Service de la population du 8 août 2011. C. Par acte du 29 juin 2012, X._ dépose un recours en matière de droit public devant le Tribunal fédéral. Il conclut, sous suite de frais et dépens, à ce que l'arrêt du Tribunal cantonal du 29 mai 2012 soit réformé en ce sens que la prolongation de l'autorisation de séjour lui est octroyée. Il requiert en outre le bénéfice de l'assistance judiciaire. Par ordonnance présidentielle du 5 juillet 2012, l'effet suspensif sollicité a été accordé au recours de X._. Les instances cantonales ont été invitées à produire leurs dossiers sans échange d'écritures. 