Faits: A. Active dans le domaine de l'informatique, la société X._ (ci-après: la société) a été fondée par E._ et B._ en 1996. Elle était affiliée en qualité d'employeur auprès de la Caisse cantonale genevoise de compensation (ci-après: la caisse). E._ en était l'administrateur unique, avec signature individuelle. Dès 2001, la caisse a rencontré des difficultés dans le recouvrement des cotisations sociales et a adressé plusieurs rappels et sommations à la société. La faillite de la société a été ouverte le 19 avril 2005, puis suspendue faute d'actifs et clôturée le 5 décembre 2006. Par décision du 10 mars 2008, la caisse a réclamé à B._ la réparation du dommage qu'elle encourait en raison de l'insolvabilité de la société, soit un montant de 78'887 fr. 35, représentant les cotisations paritaires restées impayées sur les salaires versés par la société pendant les années 2002 à 2006 (y compris les frais et les intérêts moratoires). Saisie d'une opposition, la caisse a confirmé sa décision le 4 février 2009. B. Par jugement du 17 novembre 2009, le Tribunal cantonal des assurances sociales de la République et canton de Genève a rejeté le recours formé par l'intéressé à l'encontre de la décision sur opposition du 4 février 2009. C. B._ interjette un recours en matière de droit public contre ce jugement en concluant à son annulation, subsidiairement au renvoi de la cause à la juridiction cantonale pour qu'elle statue à nouveau dans le sens des considérants ou procède aux enquêtes nécessaires à l'établissement des faits pertinents, le tout sous suite de frais et dépens. La caisse conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales ne s'est pas déterminé. 