Faits: A. Par mémoire du 10 juin 2009, X._ a recouru auprès du Tribunal cantonal du canton de Vaud contre une décision rendue le 9 juin 2009 par la Police cantonale du commerce ordonnant la fermeture du salon de massage dont il est l'exploitant. Par courrier du 11 juin 2009, le Tribunal lui a imparti un délai au 1er juillet 2009 pour effectuer une avance de frais, sous peine d'irrecevabilité du recours. Par courrier du 22 juin 2009, X._ a sollicité la prolongation du délai pour effectuer l'avance de frais. Par avis du 25 juin 2009, le délai a été prolongé au 22 juillet 2009. X._ a effectué l'avance de frais le 25 juillet 2009. Par courrier du 30 juillet 2009, le Tribunal cantonal a informé X._ que son avance de frais avait été enregistrée après l'échéance du délai et l'a invité à se déterminer sur cette question jusqu'au 13 août 2009, précisant qu'à défaut de réponse, le tribunal devrait considérer que le délai de paiement n'avait pas été respecté et que la requête serait déclarée irrecevable. X._ n'a pas rendu réponse dans le délai. B. Par décision datée du 20 août 2009, la Juge instructrice du Tribunal cantonal (ci-après: le Tribunal cantonal) a déclaré le recours irrecevable sans frais ni dépens. La décision fait référence aux courriers échangés en procédure de recours ainsi qu'au recours daté du "10 septembre 2009". Par courrier du 26 août 2009, X._ a informé le Tribunal cantonal qu'il était en vacances à l'étranger et qu'il avait fait bloquer son courrier par la Poste le 24 juillet 2009 pour la période allant du 29 juillet au 17 août 2009. Ce courrier a été transmis au Tribunal fédéral sur demande de X._. C. Agissant par la voie du recours en matière de droit public, le cas échéant par la voie du recours constitutionnel subsidiaire, X._ demande au Tribunal fédéral de déclarer nulle la décision rendue le 20 août 2009 par la Juge instructrice du Tribunal cantonal, subsidiairement de l'annuler formellement, plus subsidiairement de ne pas tenir compte de l'écart entre le délai et le paiement ou respectivement de lui restituer le délai de paiement. Il se plaint de l'application du droit cantonal, de la violation de son droit d'être entendu et de formalisme excessif. Il sollicite le droit de déposer un mémoire complémentaire aux fins de répliquer ainsi que la tenue d'une audience subsidiairement de débats. Le Tribunal cantonal et la Police cantonale du commerce proposent le rejet du recours. Leurs écritures ont été communiquées à X._. D. Par ordonnance du 2 octobre 2009, le Président de la IIe Cour de droit public a rejeté la requête d'effet suspensif déposée par X._. 