Faits: A. Par décision du 16 juin 1997, l'Office de l'assurance-invalidité du canton de Vaud (ci-après: l'OAI) a alloué à M._, né en 1956, une rente entière d'invalidité à partir 1er décembre 1996. Cette décision remplaçait une précédente décision du 21 mars 1991, par laquelle une demi-rente d'invalidité avait été octroyée à l'assuré à partir du 1er janvier 1990. Se fondant sur les renseignements médicaux recueillis dans le cadre d'une procédure de révision du droit à la rente entreprise durant l'année 2000, soit en particulier un rapport d'expertise de l'Hôpital X._ du 2 octobre 2003, l'OAI a rendu une décision le 16 octobre 2007, par laquelle il a supprimé la rente de M._ dès le 1er décembre 2007. En substance, il a reconsidéré sa décision d'octroi d'une rente entière d'invalidité, motif pris de l'absence d'atteinte invalidante. B. Saisi d'un recours de l'assuré contre cette décision, le Tribunal des assurances du canton de Vaud l'a rejeté par jugement du 22 avril 2008. C. M._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation en concluant, sous suite de dépens, à la constatation que les conditions de la reconsidération ne sont pas remplies. Subsidiairement, il conclut au renvoi de la cause à la juridiction cantonale pour complément d'instruction et nouveau jugement au sens de considérants. L'OAI a conclu au rejet du recours tandis que l'Office fédéral des assurance sociales a renoncé à se déterminer. 