Faits : A. Par ordonnance pénale du 5 juillet 2013, le Ministère public genevois a condamné X._, de nationalité algérienne et sans domicile connu, pour tentative de vol, violation de domicile et infraction à la LEtr à une peine privative de liberté de 6 mois, sous déduction d'un jour de détention avant jugement. Par courrier du 12 juillet 2013, X._, indiquant pour domicile Z._, a formé opposition contre cette décision. Il sollicitait en outre la désignation d'un avocat d'office en la personne de Me A._. Le Ministère public a convoqué par pli simple X._, à l'adresse que celui-ci lui avait indiquée, pour une audience sur opposition fixée au 23 août 2013. Le 26 août 2013, le Ministère public a rendu une ordonnance constatant le défaut de X._ à l'audience et, par conséquent, le retrait de l'opposition. B. Statuant sur le recours formé par X._, la Chambre pénale de recours de la Cour de justice genevoise l'a rejeté par arrêt du 28 mars 2014. C. X._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt, concluant, avec suite de frais et dépens, à son annulation. Il sollicite en outre l'assistance judiciaire. Invités à se déterminer sur le recours, la cour cantonale y a renoncé en se référant aux considérants de sa décision, et le Ministère public a conclu au rejet du recours. 