Faits: A. Par contrat du 9 mars 2007, X._ a engagé Y._ en qualité de coiffeuse à temps complet. Il était prévu un salaire mensuel brut de 3'600 fr., qui devait passer, après la période d'essai, à 3'800 fr.; dès que l'employée atteignait un chiffre d'affaires de 10'000 fr. par mois, son salaire brut devait s'élever à 4'000 fr. Il pouvait encore être augmenté, suivant le chiffre d'affaires réalisé, en fonction d'un tableau figurant au contrat. Il était prévu également une formation à suivre à Paris (France) et le contrat précisait dans quelle mesure l'employée pouvait être tenue de rembourser les frais assumés par l'employeur en cas de démission ou de licenciement. L'employée a commencé son travail le 27 mars 2007. Les rapports entre l'employeur et l'employée se sont par la suite fortement dégradés, de sorte que Y._, par lettre du 21 septembre 2008, a résilié le contrat pour le 31 octobre 2008. Dès le mois de novembre 2008, elle a trouvé un nouvel emploi dans un salon de coiffure à Rolle. B. Par acte du 29 octobre 2008 adressé au Tribunal de prud'hommes de l'arrondissement de La Côte (VD), Y._ a ouvert action contre X._, prenant à son encontre diverses conclusions qu'il n'est plus nécessaire de reproduire dans le détail à ce stade de la procédure. X._ a conclu au rejet des conclusions prises contre lui et a formulé des prétentions reconventionnelles. Le Tribunal de prud'hommes a statué par jugement du 11 janvier 2011. Il a condamné X._ à verser à Y._ le montant brut de 6'800 fr. dont à déduire les charges sociales, avec intérêts à 5% l'an sur le montant de 3'800 fr. dès le 30 octobre 2008. Il a considéré que l'employée avait réalisé un chiffre d'affaires supérieur à 10'000 fr. en août 2007, si bien que son salaire mensuel brut devait être arrêté à 4'000 fr. jusqu'à la fin des rapports de travail. Il a admis que la salariée avait droit à un solde de salaires de 2'800 fr. pour la période d'août 2007 à septembre 2008, ainsi qu'à 4'000 fr. à titre de salaire pour le mois d'octobre 2008, resté impayé. En revanche, il a rejeté les prétentions de l'employée pour des heures supplémentaires, en considérant que celles-ci n'avaient pas été prouvées, ainsi que ses prétentions pour mobbing, menaces et insultes, en considérant que les faits n'étaient pas établis. Quant aux conclusions reconventionnelles, il a rejeté la demande de remboursement des frais de formation en considérant que ces frais n'avaient pas été prouvés, ainsi que la prétention en dommages-intérêts pour une campagne de dénigrement en concluant que ni le dénigrement, ni le dommage n'avaient été établis. Il a rejeté une prétention de l'employeur pour violation d'une clause d'interdiction de concurrence, en constatant que le nouveau lieu de travail de l'employée se situait au-delà du rayon de dix kilomètres prohibé par cette clause. X._ a appelé de ce jugement et Y._ a formé un appel joint. En vue de déterminer la valeur litigieuse, il faut noter ici que les prétentions de l'employée portaient au total sur 20'000 fr. en capital. Par arrêt du 8 mars 2012, la Cour d'appel civile du Tribunal cantonal vaudois a rejeté aussi bien l'appel principal que l'appel joint et confirmé le jugement entrepris. C. X._ exerce un recours en matière civile au Tribunal fédéral. Invoquant une violation des art. 317 CPC, 18 CO et 29 al. 1 Cst. tout en se plaignant également de l'appréciation des preuves et de l'établissement des faits, il conclut principalement à la réforme de l'arrêt attaqué, à ce que sa dette soit réduite à 1'200 fr. avec intérêts à 5% l'an dès le 1er octobre 2008, ce montant étant entièrement compensé par ses prétentions, et à ce que sa partie adverse soit reconnue sa débitrice d'un montant de 3'328 fr. 65 avec intérêts à 5% l'an dès le 1er octobre 2008; subsidiairement, le recourant requiert le renvoi de la cause à l'autorité précédente. L'intimée, qui sollicite l'assistance judiciaire, propose le rejet du recours. Le recourant a répliqué et l'intimée a renoncé à dupliquer. 