Faits: A. Par décision sur opposition du 12 juin 2013, la Caisse cantonale neuchâteloise de compensation (CCNC) a fixé à 480 fr. les cotisations AVS/AI/APG d'indépendant dues par A._ pour une activité lucrative indépendante exercée du 1er janvier au 28 mars 2013. B. A._ a interjeté un recours contre cette décision auprès du Tribunal cantonal de la République et canton de Neuchâtel qui, par jugement du 19 décembre 2013, l'a admis et a annulé la décision sur opposition du 12 juin 2013. Selon l'autorité judiciaire cantonale, l'activité lucrative n'avait pas duré trois mois et les conditions pour être assuré à l'AVS/AI en tant que personne exerçant une activité lucrative indépendante n'étaient pas remplies. Partant, A._ n'avait pas l'obligation de cotiser comme indépendant. C. La CCNC interjette un recours en matière de droit public en concluant, principalement, à l'annulation de l'arrêt du 19 décembre 2013 et à la confirmation de la décision sur opposition du 12 juin 2013 et, subsidiairement, au renvoi de la cause au Tribunal cantonal pour nouvelle décision au sens des considérants. D. Invité à se prononcer sur le recours, l'Office fédéral des assurances sociales propose de l'admettre, d'annuler l'arrêt du 19 décembre 2013 et de confirmer la décision sur opposition du 12 juin 2013. L'intimé conclut au rejet du recours, sous suite de frais et dépens. 