Faits: A. Par jugement du 3 mai 2011, le Tribunal d'application des peines et des mesures du canton de Genève a condamné l'Etat de Genève à verser à X._ la somme de 3'800 fr. avec intérêt à 5 % l'an dès le 5 février 2010 à titre de réparation du tort moral pour détention injustifiée ainsi qu'une indemnité de procédure de 500 fr. valant participation aux honoraires de son avocat. Statuant sur l'appel de X._, la Chambre pénale d'appel et de révision de la Cour de justice genevoise l'a partiellement admis par arrêt du 20 décembre 2011, a condamné l'Etat de Genève à verser au recourant la somme de 5'000 fr. avec intérêt à 5 % l'an dès le 5 février 2010 en indemnisation de son tort moral, ainsi que la somme de 800 fr. à titre de dépens d'appel. Elle a confirmé le jugement pour le surplus. B. X._ forme un recours en matière pénale contre cet arrêt et conclut à son annulation et à sa réforme en ce sens qu'une indemnité de 45'945 fr. 20 avec intérêts à 5 % l'an dès le 5 février 2010 lui est allouée au titre de l'indemnisation de ses frais de défense. Il sollicite par ailleurs l'assistance judiciaire. Des déterminations n'ont pas été requises. 