Faits: A. Entre le 23 août 2006 et le 20 septembre 2008, le Service des contraventions du canton de Genève a infligé à X._ 144 amendes d'ordre, d'un montant total de 8'160 fr., pour des infractions à la loi sur la circulation routière. X._ n'a pas payé ces amendes, sans pour autant les contester. B. Sur réquisition du Procureur général du canton de Genève, le Tribunal d'application des peines et mesures de ce canton a, par jugement du 9 avril 2009, converti les amendes en une peine privative de liberté de substitution de 86 jours. Par arrêt du 22 novembre 2010, la Chambre pénale de la Cour de Justice du canton de Genève a partiellement admis l'appel formé par X._. Elle a annulé le premier jugement, réduit la peine privative de liberté à 84 jours, suspendu l'exécution de cette peine et ordonné à la place un travail d'intérêt général de 336 heures. C. X._ forme un recours en matière pénale. Il conclut principalement à l'annulation de l'arrêt cantonal, à ce que les amendes infligées avant le 22 novembre 2007 soient considérées comme prescrites et à ce que seules les amendes non prescrites soient converties en travail d'intérêt général. Subsidiairement, il demande à pouvoir prouver les faits allégués. Il sollicite également l'octroi de l'assistance judiciaire. 