Faits: A. Par jugement du 4 mai 2009, le Tribunal de police de Genève a acquitté X._ du chef d'abus de confiance. Saisie d'un appel de Y._, partie civile, la Chambre pénale de la Cour de justice genevoise, par arrêt du 22 mars 2010, a annulé ce jugement et condamné X._ à 180 jours-amende d'un montant de 30 fr. chacun, avec sursis pendant deux ans, pour abus de confiance. Sur le plan civil, elle l'a condamné à verser à Y._ la somme de 28'357 fr. 85 avec intérêts à 5% dès le 1er avril 2004 à titre de réparation de son dommage. B. En substance, cet arrêt repose sur les faits suivants: Y._, invalide à 72% depuis 2000 à la suite d'un accident, a fait la connaissance de X._, son voisin, qui lui rendait divers petits services et avec lequel elle s'était liée d'amitié. Elle lui avait donné une procuration sur ses comptes bancaires auprès de l'UBS et de la Banque Migros pour qu'il puisse lui régler ses factures. L'argent versé sur son compte UBS provenait de sa rente AI tandis que l'argent qui se trouvait sur son compte auprès de la banque Migros représentait son salaire ainsi que les indemnités versées par l'OCPA. Elle s'était rendu compte qu'il avait abusé de sa confiance pendant plusieurs années en retirant de l'argent de ses comptes sans son consentement. Elle avait déposé plainte pénale à son encontre le 24 août 2004 pour abus de confiance. Il est ressorti d'un tableau récapitulatif de l'analyse des pièces bancaires issues des comptes respectifs des parties, du 11 janvier 2001 au 1er avril 2004, près de 30 correspondances entre les sommes sorties des comptes de Y._ et celles entrées sur les comptes de X._ tant sur le plan des dates que sur celui des montants. Les comptes de X._ avaient ainsi enregistré durant cette période des entrées pour les sommes de 10'285 fr., 6'022.98 Euros et 38'742.58 FF. L'intéressé n'avait fourni aucune explication crédible ou pièce probante quant à ces entrées de fonds. C. Contre cet arrêt cantonal, X._ dépose un recours en matière pénale devant le Tribunal fédéral. Il conclut à son acquittement et, subsidiairement, à l'annulation de l'arrêt attaqué et au renvoi de la cause à la cour cantonale pour nouveau jugement. Il requiert en outre l'effet suspensif pour la condamnation au paiement de la somme de 28'357 fr. 85 (soit le montant total de 10'285 fr., 6'022.98 Euro et 38'742.58 FF) ainsi que l'assistance judiciaire. Il n'a pas été requis de déterminations. 