Faits: A. Par décision du 4 juin 2009, l'Office d'exécution des peines du canton de Vaud a refusé de mettre X._ au bénéfice du régime de la semi-détention et des arrêts domiciliaires et l'a sommé de se présenter, le 17 juin 2009, aux Etablissements de Bellechasse. Par arrêt du 29 juillet 2009, le Juge d'application des peines a déclaré irrecevable le recours daté du 15 et déposé le 21 juillet 2009, interjeté contre cette décision. B. Par lettre du 10 août 2009, adressée au Président de la Cour de cassation pénale du canton de Vaud, X._ a demandé la restitution du délai de recours contre la décision du 4 juin 2009. Statuant le 13 août suivant, le Président de la cour a rejeté la requête. C. X._ forme un recours en matière pénale contre cet arrêt. Il conclut principalement à sa réforme en ce sens que le délai de cinq jours pour recourir contre la décision rendue le 4 juin 2009 lui soit restitué. A titre subsidiaire, il conclut à l'annulation de la décision querellée et au renvoi de la cause à l'autorité cantonale pour nouvelle décision au sens des considérants. Il requiert, par ailleurs, l'effet suspensif. L'effet suspensif a été accordé à titre pré-provisionnel le 14 septembre 2009. Cette décision portait invitation à déposer des déterminations sur la requête et précisait que le silence du destinataire vaudrait acquiescement. Ni le Ministère public du canton de Vaud, ni l'autorité précédente ne s'y sont opposés. Invités à déposer des observations sur le fond, le Tribunal cantonal et le Ministère public y ont renoncé en se référant aux considérants de la décision querellée. 