Faits: A. A._ a été arrêté le 14 décembre 2010 à St-Gall, en possession de bijoux paraissant provenir d'un cambriolage à Genève. Il a été représenté par un avocat zurichois. Le 5 janvier 2011, il a été transféré à Genève. Le 10 janvier 2011, l'avocat zurichois a été interpelé par le Ministère public genevois sur la poursuite de son mandat. Le 11 janvier 2011, Me Jean-Pierre Garbade, avocat à Genève s'est adressé au Ministère public en déclarant excuser son confrère zurichois pour la défense de A._. Le 13 janvier 2011, il demanda à être nommé d'office. Le 17 janvier 2011, Me Garbade produisit des déterminations au Tribunal des mesures de contrainte, concernant la détention du prévenu. Le même jour, il est intervenu auprès du Procureur afin de récupérer le véhicule du prévenu. Le 19 janvier 2011, l'avocat zurichois a confirmé qu'il ne représentait plus A._. B. Le 1er février 2011, le Procureur général a nommé Me Garbade comme défenseur d'office. Invité à préciser le dies a quo de cette nomination, le Procureur fit savoir qu'il s'agissait du 19 janvier 2011, date de réception de la lettre de l'avocat zurichois. C. Par arrêt du 23 mars 2011, la Chambre pénale de recours de la Cour de justice genevoise a confirmé cette décision. L'avocat zurichois n'avait pas révoqué son mandat après le transfert du prévenu à Genève; Me Garbade avait dans un premier temps déclaré "excuser" son confrère zurichois. Ce dernier n'avait mis fin à son mandat que le 19 janvier 2011, de sorte que le prévenu disposait jusqu'à cette date d'un avocat de choix. D. Par acte du 12 mai 2011, A._ forme un recours en matière pénale avec une demande d'assistance judiciaire. Il conclut à l'annulation de l'arrêt cantonal et à la réforme de la décision du Ministère public en ce sens que la désignation de Me Garbade prend effet au 13 janvier 2011. Subsidiairement, il demande le renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants. La Chambre pénale de recours se réfère à son arrêt et le Ministère public a renoncé à déposer des observations. 