Faits: A. A._ a été arrêté le vendredi 29 avril 2011 à 16 h 30 dans le cadre d'une enquête portant sur divers cambriolages. Me Daniel Kinzer a été appelé le lendemain samedi 30 avril à 8 h 53 par la permanence de l'avocat de la première heure mise en place dans le canton de Genève. L'avocat en question a pu s'entretenir avec A._ une demi-heure avant de l'assister lors son audition par le Ministère public du canton de Genève, le même jour de 10 h 30 à 12 h 15. Au terme de cette audience, le Ministère public a annoncé son intention de proposer au Tribunal des mesures de contrainte du canton de Genève (ci-après: le Tmc) d'ordonner la mise en détention provisoire du prévenu. Une demande en ce sens a été transmise au Tmc à 12 h 45. Le lendemain dimanche 1er mai 2011 à 9 h 59, le Tmc a expédié un fax à l'Etude de Me Kinzer pour le convoquer à une audience devant se tenir le jour même à 11 h 00. A une heure indéterminée, un message a également été laissé sur le répondeur téléphonique de l'Etude de l'avocat prénommé. Le conseil de A._ n'était pas présent lors de l'audience de mise en détention. Par ordonnance du 1er mai 2011, le Tmc a ordonné la mise en détention du prévenu jusqu'au 1er juillet 2011, au motif qu'il existait des risques de fuite, de collusion et de récidive. B. A._ a contesté cette ordonnance auprès de la Chambre pénale des recours de la Cour de justice du canton de Genève (ci-après: la Cour de justice), qui a rejeté ce recours par arrêt du 13 mai 2011. Cette autorité a considéré en substance que les charges étaient suffisantes et qu'il existait manifestement des risques de fuite, de collusion et de réitération. Elle a par ailleurs estimé que l'absence du défenseur de A._ à l'audience de mise en détention ne constituait pas un vice justifiant une annulation de l'ordonnance contestée. C. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler cet arrêt ainsi que l'ordonnance du Tmc du 1er mai 2011, de constater que son droit d'être entendu a été violé et d'ordonner sa mise en liberté immédiate. Il se plaint essentiellement d'une violation de son droit d'être entendu, notamment parce que les observations déposées par le Ministère public devant la Cour de justice ne lui ont pas été communiquées. Il requiert en outre l'octroi de l'assistance judiciaire. La Cour de justice se réfère aux considérants de son arrêt. Le Ministère public s'est déterminé, concluant au rejet du recours. Le recourant a présenté des observations complémentaires. 