Faits: A. A.a C._, né en 1962, a déposé le 6 juillet 1998 auprès de l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) une demande tendant à l'octroi d'une rente. Interrogé par l'administration, le docteur W._, spécialiste FMH en chirurgie orthopédique et médecin traitant, a indiqué que son patient souffrait de lombalgies chroniques (contractures, myalgies), de discopathie L4-L5 et de coxa profunda bilatérale, plus marquée à gauche; la capacité de travail était de 50 % (rapport du 24 septembre 1999). L'assuré s'est soumis du 3 au 28 septembre 2001 à un stage d'observation professionnelle auprès du Centre d'observation professionnelle de l'assurance-invalidité (ci-après: le COPAI). Le docteur M._, spécialiste FMH en néphrologie et en médecine interne, médecin-conseil, a conclu à un rendement inférieur à 40 % (rapport du 8 octobre 2001), tandis que les spécialistes du COPAI ont considéré que la capacité résiduelle de travail de l'assuré était trop faible pour être exploitée dans le milieu économique (rapport du 11 octobre 2001). Après avoir procédé à un examen clinique de l'assuré, le Service médical régional de l'assurance-invalidité (ci-après: le SMR) a estimé que sa capacité de travail était entière dans une activité adaptée (avis du 7 mars 2002). Par décision du 8 mai 2002, l'office AI a rejeté la demande. Le Tribunal des assurances du canton de Vaud (aujourd'hui: le Tribunal cantonal du canton de Vaud, Cour des assurances sociales) a débouté l'assuré (jugement du 24 novembre 2004). Le Tribunal fédéral des assurances a partiellement admis son recours, annulé ledit jugement ainsi que la décision du 8 mai 2002, et renvoyé la cause à l'office AI pour complément d'instruction et nouvelle décision (arrêt I 248/05 du 7 novembre 2005). A.b Se conformant à l'arrêt précité, l'administration a confié une expertise au Centre d'Expertise Médicale (ci-après: le CEMed), qui a été rendue le 28 septembre 2006. Les docteurs B._, spécialiste FMH en rhumatologie, R._, spécialiste FMH en psychiatrie et psychothérapie, et H._, spécialiste FMH en neurologie, n'ont fait état d'aucune atteinte invalidante à la santé. Par décision du 7 janvier 2008, l'office AI a dénié à l'intéressé le droit à une rente d'invalidité. B. L'assuré a déféré cette décision auprès du Tribunal des assurances du canton de Vaud. Les premiers juges ont mandaté la clinique de chirurgie orthopédique de l'Hôpital X._ (expertise du docteur G._, médecin assistant, du 26 juillet 2010, visée par le docteur E._, médecin-chef, spécialiste FMH en chirurgie orthopédique et traumatologie de l'appareil locomoteur). Par jugement du 18 avril 2011, le Tribunal cantonal a admis le recours et alloué à l'assuré une rente entière d'invalidité à partir du 1er mai 1998. C. L'Office de l'assurance-invalidité pour le canton de Vaud interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut à la confirmation de sa décision du 7 janvier 2008. Il demande l'octroi de l'effet suspensif du recours. C._ conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. D. Par ordonnance du 14 septembre 2011, le Tribunal fédéral a admis la requête d'effet suspensif. 