Faits: A. Par jugement du 8 mai 2012, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par X._ contre le jugement du 17 novembre 2011 du Tribunal correctionnel de la Broye et du Nord vaudois et elle a partiellement admis ceux du Ministère public et de A._. Elle a libéré X._ des chefs d'accusation de lésions corporelles simples qualifiées et de lésions corporelles graves et l'a reconnu coupable d'agression, de vol, de violation de domicile et de contravention à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (loi sur les stupéfiants, LStup; RS 812.121). Elle a révoqué le sursis accordé à l'intéressé par le Juge d'instruction de Lausanne le 9 décembre 2008 et a ordonné l'exécution de la peine de 20 jours-amende à 30 francs le jour. Elle a en outre condamné X._ à une peine privative de liberté de douze mois, sous déduction de 4 jours de détention subie avant jugement, ainsi qu'à une amende de 200 francs, cette peine étant partiellement complémentaire à celle prononcée le 10 août 2010 par le Juge d'instruction du Nord vaudois. B. Cette condamnation se fonde sur les principaux éléments de fait suivants. B.a Le 11 janvier 2010, X._, C._ et D._, accompagnés d'un tiers, se sont rendus, en début de soirée, chez B._ pour acquérir du cannabis. Lorsque ce dernier a ouvert la porte, il l'a aussitôt refermée en voyant X._ sur le pas de la porte. Celui-ci a voulu forcer le passage en glissant son pied dans l'entrebâillement de celle-ci. B._ lui a alors donné un coup au visage, le faisant tomber à terre; l'intéressé conteste toutefois avoir donné ce coup. X._, C._ et D._ se sont ensuite précipités dans l'appartement pour s'en prendre physiquement à B._. Pour se défendre, celui-ci a distribué des coups de pied à ses assaillants alors qu'il était au sol. Une fois debout, il a sorti un couteau disposant d'une lame de quelques 20 centimètres qu'il portait à sa ceinture, dans le but de faire fuir ses agresseurs. Un vélo a encore été jeté sur lui. B.b Alertée par un fracas métallique, la colocataire de B._, A._, est sortie de la cuisine. Elle a fait usage d'un spray au poivre qu'elle a vidé pour faire fuir les intrus. D._ lui a ensuite lancé un vélo, dont elle a essayé de se protéger avec les bras. B.c B._ a présenté une plaie du cuir chevelu importante au niveau fronto-temporal droit, une plaie au niveau du tiers moyen de l'avant-bras, consécutive à un coup donné au moyen d'un objet, ainsi qu'un hématome cutané au niveau du tiers supérieur du bras droit sans plaie. A._ a souffert d'un hématome traumatique de la main et du poignet droits, d'un hématome de l'avant-bras gauche avec dermabrasion et d'un traumatisme du poignet droit avec fracture de la styloïde cubitale, nécessitant la pose d'un plâtre. Elle a en outre présenté de nombreuses dermabrasions superficielles des doigts de la main gauche. Selon le rapport établi le 2 novembre 2011 par le Dr E._, une neuropathie cubitale s'est développée. Les premiers symptômes sont apparus environ six à huit semaines après la fracture de l'avant-bras gauche. La neuropathie s'est aggravée progressivement et a empêché la victime de manipuler, et en particulier de porter, un objet de la main gauche. Elle a été opérée le 5 décembre 2011. De plus, A._ souffre d'un trouble anxieux majeur généralisé avec phobie sociale ainsi que, depuis le mois de janvier 2010, d'un stress post-traumatique surajouté, aggravant encore sa phobie sociale. C. X._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 8 mai 2012. Il conclut à ce que le jugement attaqué soit réformé en ce sens qu'il est libéré des chefs d'accusation d'agression, lésions corporelles simples qualifiées et de lésions corporelles graves, à ce qu'il soit constaté qu'il s'est rendu coupable de vol, de violation de domicile et de contravention à la loi fédérale sur les stupéfiants et à ce qu'il soit condamné à une peine de travail d'intérêt général inférieure à 720 heures et à une amende de 200 francs avec peine privative de liberté de substitution de huit jours. Subsidiairement, il conclut au renvoi de la cause à l'autorité cantonale. Il sollicite en outre le bénéfice de l'assistance judiciaire. Invités à répondre au recours, la cour cantonale s'est référée aux considérants de sa décision et le Ministère public a conclu au rejet du recours. A._ a également conclu au rejet du recours et sollicité l'octroi de l'assistance judiciaire. B._ ne s'est pas déterminé dans le délai imparti. 