Faits: A. Par jugement du 27 août 2009, le Tribunal de police du canton de Genève a reconnu X._ coupable d'abus de confiance aggravé, l'a condamné à une peine privative de liberté de 2 ans, avec sursis durant 3 ans, a ordonné la confiscation de divers comptes saisis et l'allocation de leur solde à la Banque A._ et donné acte à celle-ci de la cession à l'Etat de la part correspondante de sa créance envers le condamné. B. Statuant sur l'appel de X._ par arrêt du 13 décembre 2010, la Cour de justice genevoise a confirmé le jugement précité. C. X._ forme un recours en matière pénale contre cet arrêt et conclut à son annulation. Il sollicite par ailleurs l'assistance judiciaire. Invités à formuler des observations sur le recours, la cour cantonale s'est référée à son arrêt, tandis que le Ministère public genevois ne s'est pas déterminé dans le délai imparti. La Banque A._ conclut au rejet du recours. 