Faits: A. Les époux A._ se sont mariés le 12 mars 2010. Aucun enfant n'est issu de leur union. L'épouse est cependant la mère d'un enfant, B._, né en 2003 d'une précédente union, dont elle a la garde. B. Le 13 septembre 2011, l'épouse a déposé une requête de mesures protectrices de l'union conjugale devant le Président du Tribunal civil de l'arrondissement de Lausanne (ci-après: le Président du Tribunal), concluant notamment à l'attribution du logement conjugal, au paiement d'une contribution d'entretien en sa faveur et au prononcé d'une mesure d'interdiction de périmètre à l'encontre de son époux. Lors de l'audience du 15 novembre 2011, l'épouse a requis, à titre de mesures préprovisionnelles, qu'il soit statué sur ses conclusions, à l'exception du versement d'une contribution d'entretien en sa faveur. B.a Par ordonnance de mesures superprovisionnelles dictée au procès-verbal de l'audience du 15 novembre 2011, le Président du Tribunal a fait droit à la requête de l'épouse. B.b Statuant le 19 décembre 2011 par prononcé de mesures protectrices de l'union conjugale, le Président du Tribunal a notamment octroyé la jouissance du logement conjugal à l'épouse, astreint l'époux à contribuer à l'entretien de sa femme par le versement d'un montant de 900 fr. par mois, dès et y compris le 1er octobre 2011, et fait interdiction à l'époux de s'approcher à moins de cent mètres de sa femme et du fils de celle-ci. B.c Par arrêt du 23 janvier 2012, notifié aux parties le 13 février 2012, la Juge déléguée de la Cour d'appel civile du Tribunal cantonal du canton de Vaud (ci-après: la Juge déléguée) a rejeté l'appel de l'époux du 6 janvier 2012 tendant à la suppression de la contribution d'entretien et de la mesure d'interdiction de périmètre, confirmé l'ordonnance du Président du Tribunal du 19 décembre 2011, et rejeté la requête d'assistance judiciaire de l'époux. C. Par acte du 28 février 2012, l'époux (ci-après: le recourant) interjette un recours en matière civile au Tribunal fédéral. Il conclut principalement à la réforme de l'arrêt entrepris en ce sens qu'aucune contribution d'entretien n'est mise à sa charge, subsidiairement à l'annulation de la décision attaquée et au renvoi de la cause au "Tribunal d'arrondissement ou à la Juridiction cantonale d'appel". Dans son mémoire de recours, le recourant expose qu'il se plaint de la violation de son droit au minimum vital et de son droit à l'assistance judiciaire. Il sollicite au préalable l'effet suspensif à son recours, ainsi que le bénéfice de l'assistance judiciaire pour l'instance fédérale. Invitées à se déterminer sur la requête d'effet suspensif, l'épouse (ci-après: l'intimée) a conclu à son rejet et l'autorité précédente s'en est remise à justice. D. Par ordonnance du 19 mars 2012, la Présidente de la IIe Cour de droit civil du Tribunal fédéral a accordé l'effet suspensif au recours s'agissant des contributions d'entretien dues jusqu'à la fin du mois de janvier 2012 et a rejeté la requête pour le surplus. E. Par lettre du 4 mai 2012, le recourant a requis, fondé sur l'ordonnance de la Présidente de la cour de céans du 19 mars 2012, la suspension de l'ordonnance de mesures superprovisionnelles d'avis au débiteur prononcée entre temps, le 24 février 2012, par le Président du Tribunal ordonnant à la caisse de chômage du recourant, subsidiairement à tout employeur, de prélever le montant de la contribution d'entretien, à savoir 900 fr., respectivement sur les indemnités mensuelles du recourant ou sur son salaire, le premier prélèvement ayant eu lieu pour le mois d'avril 2012. Par ordonnance du 7 mai 2012, la Présidente de la IIe Cour de droit civil du Tribunal fédéral a déclaré la requête du recourant irrecevable, le recours pendant devant le Tribunal fédéral étant dirigé contre l'arrêt de la Juge déléguée du 23 janvier 2012, les contributions d'entretien postérieures au 1er février 2012 étant au demeurant exigibles selon l'ordonnance du 19 mars 2012. Des réponses sur le fond n'ont pas été requises. 