Faits: Faits: A. X._ est affiliée en qualité d'employeur à la Caisse cantonale vaudoise de compensation AVS (ci-après: la caisse). Par décision du 28 janvier 2002, la caisse lui a notifié un décompte final des cotisations paritaires dues au 31 décembre 2001. Effectué le 28 février 2002, le paiement des redevances a été crédité à la caisse le 1er mars suivant. Par décision du 18 juin 2002, la caisse a réclamé à X._ le paiement d'intérêts moratoires de 74 fr 25, calculés au taux de 5 % l'an sur un montant de 16'203 fr. 55, pour la période du 28 janvier au 1er mars 2002 inclus, soit pour 33 jours de retard. Par décision du 18 juin 2002, la caisse a réclamé à X._ le paiement d'intérêts moratoires de 74 fr 25, calculés au taux de 5 % l'an sur un montant de 16'203 fr. 55, pour la période du 28 janvier au 1er mars 2002 inclus, soit pour 33 jours de retard. B. Par acte du 1er juillet 2002, X._ a recouru contre cette décision devant le Tribunal des assurances du canton de Vaud. En cours de procédure, la caisse a ramené le montant des intérêts moratoires à 72 fr. correspondant à un retard de 32 jours (décision du 10 septembre 2002). Par jugement du 26 septembre 2002, le Tribunal des assurances du canton de Vaud a admis le recours, annulant la décision du 10 septembre 2002. Il a considéré que la brièveté du retard (deux jours) et la modicité de la somme en jeu, justifiaient que l'on renonçât à la perception de ces intérêts. Par jugement du 26 septembre 2002, le Tribunal des assurances du canton de Vaud a admis le recours, annulant la décision du 10 septembre 2002. Il a considéré que la brièveté du retard (deux jours) et la modicité de la somme en jeu, justifiaient que l'on renonçât à la perception de ces intérêts. C. L'Office fédéral des assurances sociales (OFAS) interjette recours de droit administratif contre ce jugement dont il demande l'annulation. X._ n'a pas répondu au recours. La caisse a renoncé à se déterminer. 