Faits: A. Le 6 octobre 2010, X._ a déposé une plainte pénale contre La Poste Suisse. Dans le cadre d'une procédure de plainte LP contre l'Office des poursuites de A._ (l'office), un pli recommandé destiné à l'autorité de plainte était parvenu à l'office. Selon le plaignant, cette erreur d'acheminement était constitutive d'une violation du secret des postes et des télécommunications (art. 321ter CP). Le 25 février 2011, le Procureur de l'arrondissement de Lausanne a rendu une ordonnance de non-entrée en matière, frais à la charge de l'Etat, considérant que les éléments constitutifs de l'infraction n'étaient pas réunis. Par lettre du 8 mars 2011, X._ a renvoyé cette décision au Ministère public, relevant qu'elle lui avait été remise par pli simple et qu'une non-entrée en matière aurait dû être décidée immédiatement. Il demandait des investigations complémentaires et, le cas échéant, une ordonnance de classement notifiée dans les formes. B. Par jugement du 14 mars 2011 la Chambre des recours pénale du Tribunal cantonal vaudois a considéré la lettre précédente comme un recours transmis par le Ministère public, et l'a rejeté en mettant 440 fr. de frais à la charge de X._. L'ordonnance avait été notifiée par pli simple, mais cela n'était pas contraire au droit; la date de la notification n'était d'ailleurs pas contestée. Le temps écoulé entre le dépôt de la plainte et la décision du Procureur n'empêchait pas une non-entrée en matière, aucune opération d'enquête n'ayant été effectuée. Sur le fond, aucun indice ne permettait de penser qu'il y ait eu violation intentionnelle du secret postal. C. Par acte du 31 mars 2011, X._ forme recours auprès du Tribunal fédéral. Il demande principalement l'annulation du jugement cantonal en relevant qu'il n'avait pas eu l'intention de recourir. Il sollicite l'assistance judiciaire pour la procédure devant le Tribunal fédéral. La Chambre des recours pénale a renoncé à se déterminer, tout en se référant à son jugement. Le Ministère public conclut au rejet du recours. Le recourant a déposé des observations complémentaires et a maintenu en substance ses conclusions. 