Faits: A. A.a Dame A._, née en 1977, et A._, né en 1960, se sont mariés à Hydra (Algérie) le 13 juillet 2010. Aucun enfant n'est issu de cette union. Le 28 juillet 2010, A._, titulaire d'un permis C, est rentré seul en Suisse, où son épouse l'a rejoint le 8 novembre 2010. L'épouse a quitté le domicile conjugal le 16 juillet 2011. A.b Dame A._ est au bénéfice d'une formation d'esthéticienne reconnue en Suisse. Depuis le 2 août 2011, elle travaille à 50% dans une société active dans le domaine de la santé, de la beauté et du bien-être. Elle réalise à ce titre un revenu mensuel net de l'ordre de 1'500 fr. Ses charges incompressibles, partiellement contestées par son époux, ont été arrêtées à 2'644 fr. par mois. A._ a une formation commerciale. Employé par une société à S._, il réalise à ce titre un revenu mensuel net moyen de 4'750 fr. versé douze fois l'an, auquel s'ajoutent des indemnités de 1'500 fr. qu'il perçoit dix fois par année en qualité d'entraîneur de X._. Son revenu mensuel total moyen calculé sur douze mois s'élève par conséquent à 6'000 fr. Ses charges mensuelles ont été arrêtées à 4'390 fr. B. B.a Les époux ont chacun déposé une requête de mesures protectrices de l'union conjugale par-devant le Tribunal d'arrondissement de l'Est vaudois, respectivement les 8 et 16 août 2011. B.b Par demande du 5 octobre 2011, A._ a déposé une demande concluant principalement à l'annulation du mariage, subsidiairement au divorce, transformant ainsi la procédure de mesures protectrices de l'union conjugale en procédure de mesures provisionnelles. Lors de l'audience de mesures provisionnelles du même jour, dame A._ a conclu reconventionnellement à ce que son époux contribue à son entretien par le versement d'une pension mensuelle de 2'000 fr., d'avance le premier de chaque mois, à compter du 1er août 2011. Elle a également produit six pièces attestant de recherches d'emploi infructueuses entre le 28 janvier et le 2 août 2011. Durant cette audience, les époux ont signé une convention par laquelle ils ont notamment convenu de vivre séparés pour une durée indéterminée, étant précisé que la séparation remontait au 17 juillet 2011 et attribué la jouissance du domicile conjugal au mari. Par ordonnance de mesures provisionnelles du 3 novembre 2011, la Présidente du Tribunal civil d'arrondissement de l'Est vaudois a rappelé la convention intervenue à l'audience du 5 octobre 2011, déjà ratifiée pour valoir ordonnance partielle de mesures provisionnelles; elle a en outre rejeté les conclusions reconventionnelles prises par l'épouse lors de cette audience et tendant essentiellement à ce que son mari soit condamné à contribuer à son entretien. B.c Statuant le 30 janvier 2012 sur l'appel interjeté le 16 novembre 2011 par dame A._, le Juge délégué de la Cour d'appel civile du Tribunal cantonal du canton de Vaud (ci-après Juge délégué) a notamment condamné A._ à contribuer à l'entretien de son épouse à concurrence de 380 fr. par mois, dès le 1er septembre 2011. C. Par acte du 19 mars 2012, A._ exerce un recours en matière civile au Tribunal fédéral. Il conclut principalement à ce que l'arrêt du Juge délégué soit réformé en ce sens qu'il n'est pas tenu de contribuer à l'entretien de son épouse; subsidiairement, il demande que dit arrêt soit réformé en ce sens qu'il contribuera mensuellement à l'entretien de celle-ci par le versement d'un montant de 250 fr. à compter du 1er septembre 2011 et, très subsidiairement, à ce que l'arrêt cantonal soit annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision dans le sens des considérants. A l'appui de ses conclusions, le recourant invoque l'appréciation arbitraire des preuves et une application arbitraire des art. 125 et 163 CC et de la jurisprudence régissant la question de la contribution d'entretien dans le cadre de mesures provisionnelles avant divorce. Le recourant sollicite en outre l'octroi de l'assistance judiciaire. 