Faits: A. Le 29 juillet 2009, X._ a déposé plainte pénale contre Y._ pour lésions corporelles. Il alléguait avoir reçu de celui-ci un coup de poing, puis avoir été frappé au moyen d'une latte en bois de 2 mètres environ. Il en était résulté une fracture du poignet devant entraîner une incapacité de travail de 6 mois. Par lettre du 17 août 2009, le juge d'instruction a informé le plaignant que le versement d'une avance de frais de 500 fr. conditionnait l'ouverture de l'enquête. Faute de paiement dans le délai imparti, le magistrat a refusé de suivre, par ordonnance du 22 septembre 2009. B. Par arrêt du 15 octobre 2009, le Tribunal d'accusation du canton de Vaud a rejeté le recours de X._. C. Ce dernier recourt en matière pénale. Il conclut à l'annulation de la décision du 15 octobre 2009 et au renvoi de la cause pour nouvelle décision au sens des considérants, soit qu'il soit ordonné au magistrat de première instance d'instruire la cause. Invités à déposer des observations, le Ministère public du canton de Vaud y a renoncé cependant que l'autorité précédente s'est référée aux considérants de sa décision. 