Faits: A. La société X._ SA a été fondée par B._ et inscrite au Registre du commerce le 21 août 1990. Elle était active dans le domaine de l'informatique. Dès l'origine, A._ en a été l'administrateur et B._ le directeur, tous deux avec signature individuelle. A partir de décembre 1999, C._ a exercé auprès de la société la fonction de sous-directeur. Celui-ci a été licencié pour le 31 juillet 2000. En tant qu'employeur, X._ SA était affiliée à la Caisse interprofessionnelle AVS de la Fédération des Entreprises Romandes (FER CIAM 106.1; ci-après: la caisse). Par lettre du 24 octobre 2000 faisant suite à un commandement de payer relatif aux cotisations AVS de juillet 2000, elle a informé la caisse qu'elle traversait des difficultés de trésorerie qui avaient occasionné des retards dans le paiement des cotisations. Un premier arrangement a fait l'objet d'une décision d'octroi d'un sursis au paiement du 7 novembre 2000, selon laquelle les cotisations paritaires de juillet à septembre 2000 d'un montant total de 61'163 fr. 60, moins un premier versement de 15'290 fr., devaient être amorties par le versement d'acomptes mensuels de 3'830 fr. dès le 15 décembre 2000. Sur requête de la société X._ SA du 8 mars 2001, un nouvel arrangement a fait l'objet d'une décision d'octroi d'un sursis au paiement du 6 avril 2001, selon un plan prévoyant que les cotisations paritaires (août à septembre 2000 et janvier et février 2001) d'un montant total de 67'581 fr. 70, moins un premier versement de 12'395 fr., devaient être amorties par le versement d'acomptes mensuels de 4'635 fr. dès le 30 avril 2001. La société X._ SA n'a pas respecté l'arrangement du 6 avril 2001, lequel a fait l'objet de rappels de la part de la caisse les 13 juin et 13 juillet 2001. X._ SA a été dissoute par suite de faillite prononcée par jugement du Tribunal de première instance de la République et canton de Genève du 2 octobre 2001. Déposé le 30 juin 2004, l'état de collocation a été modifié les 8 juillet et 8 décembre 2004. La clôture de la faillite a été prononcée le 25 août 2005. Par deux décisions en réparation du dommage du 15 novembre 2005, la caisse a réclamé le versement de 82'960 fr. 35 à A._ et à B._, solidairement, somme correspondant à l'arriéré des cotisations paritaires AVS/AI/APG/AC pour les périodes d'août et septembre 2000, janvier, février, mai et août 2001 et à des compléments pour les années 1996 à 1999 et 2000 à 2001 suite à des contrôles d'employeur, aux cotisations dues au régime des allocations familiales des périodes d'août 2001 et à la reprise de cotisations suite à un contrôle d'employeur sur les années 2000 à 2001, ainsi qu'aux cotisations dues au régime de l'assurance-maternité des périodes de juillet et août 2001 et aux compléments suite à un contrôle d'employeur sur les années 2000 à 2001. Les 17 et 28 novembre 2005, A._ a formé opposition contre la décision du 15 novembre 2005 le concernant, opposition qu'il a complétée le 6 juillet 2006. Par décision du 26 novembre 2007, la caisse a rejeté l'opposition. B._ n'a pas formé opposition contre la décision du 15 novembre 2005 le concernant. B. Le 14 janvier 2008, A._ a formé recours contre la décision sur opposition du 26 novembre 2007 devant le Tribunal cantonal des assurances sociales de la République et canton de Genève, en concluant, sous suite de frais et dépens, à son annulation, la juridiction cantonale étant invitée à constater et dire qu'il n'était pas responsable du dommage ascendant à 82'960 fr. 35 causé à la caisse par la société X._ SA. Le 15 avril 2008, la juridiction cantonale a entendu les parties en audience de comparution personnelle, à la suite de laquelle A._ a produit le 21 juillet 2008 les documents que lui avait remis l'Office des faillites. Dans une ordonnance du 21 avril 2008, le Tribunal cantonal des assurances sociales, statuant préparatoirement, a appelé en cause B._ et l'a invité à se déterminer. Par lettre du 30 avril 2008 (timbre postal), celui-ci a déposé ses observations. Le 2 septembre 2008, la juridiction cantonale a procédé en présence de A._, de B._ et de la caisse à l'audition de D._. Dans une ordonnance du 24 septembre 2008, la juridiction cantonale a interpellé B._ sur différents points. Par lettre datée du 15 octobre 2008, B._ a répondu aux questions qui lui étaient posées. Dans ses déterminations du 19 novembre 2008, la caisse, relevant que B._ était engagé dans l'implantation du groupe Y._ depuis 1996 déjà et qu'il n'était plus entièrement disponible pour la société X._ SA, a maintenu sa demande en réparation du dommage à l'égard de A._. Par lettre du 24 novembre 2008, A._ a déclaré qu'il n'avait pas d'observations à formuler. Par arrêt du 7 avril 2009, le Tribunal cantonal des assurances sociales, statuant en la cause A._, recourant, contre la Caisse interprofessionnelle AVS de la Fédération des Entreprises Romandes, intimée, et B._, appelé en cause, a rejeté le recours. C. A._ interjette un recours en matière de droit public contre ce jugement, en concluant, sous suite de frais et dépens, à son annulation, le Tribunal fédéral étant invité à débouter "les intimés" de toutes leurs conclusions, voire de toute autre conclusion. A titre subsidiaire, il demande que la cause soit renvoyée à la juridiction cantonale pour nouvelle décision et que "les intimés" soient déboutés de toute autre conclusion. La Caisse interprofessionnelle AVS de la Fédération des Entreprises Romandes conclut au rejet du recours. B._ n'a pas répondu au recours. L'Office fédéral des assurances sociales a renoncé à se déterminer. 