Faits : A. Le 16 mai 2013, A._, né en 1981, a présenté une demande de prestations de l'assurance-invalidité. Dans un projet de décision du 30 mai 2014, l'Office de l'assurance-invalidité du canton de Genève (ci-après: l'office AI) l'a informé que, bien qu'étant invalide à 100 % depuis le 1er janvier 1996, il n'avait pas droit au versement d'une rente ordinaire vu que les conditions d'assurance n'étaient pas remplies. Par acte du 9 juillet 2014, il a confirmé le refus de rente. B. Par lettre du 23 juillet 2014, A._ a formé recours contre l'acte du 9 juillet 2014 devant la Cour de justice de la République et canton de Genève, Chambre des assurances sociales. Le 24 juillet 2014, la juridiction cantonale a imparti à l'office AI un délai échéant le 21 août 2014 pour lui faire parvenir sa réponse et le dossier. Par lettre du 28 juillet 2014, elle l'a informé qu'elle annulait le délai, radiait du rôle la cause par un arrêt qui lui parviendrait ultérieurement et l'invitait à se déterminer sur l'écriture de A._ du 23 juillet 2014, à considérer comme des observations sur le projet de décision du 9 juillet 2014. L'office AI, par lettre du 4 août 2014, a contesté le point de vue du tribunal et l'a invité à procéder à l'instruction de la cause sur le fond. Par arrêt du 5 août 2014, la juridiction cantonale a déclaré le recours irrecevable et l'a transmis à l'office AI comme objet de sa compétence. C. L'Office de l'assurance-invalidité du canton de Genève interjette un recours en matière de droit public contre ce jugement, en concluant à son annulation. A._ conclut, sous suite de frais, à l'irrecevabilité du recours, subsidiairement au rejet de celui-ci dans la mesure où il est recevable. L'Office fédéral des assurances sociales a renoncé à se déterminer. 