Faits: A. Par décision du 30 septembre 2010, l'Office cantonal de l'assurance-invalidité du canton de Genève (ci-après: l'office AI) a supprimé, avec effet au premier jour du deuxième mois suivant la notification de la décision, la rente entière d'invalidité dont bénéficiait G._ depuis le 1er février 1997 en raison d'une affection néphrologique et de douleurs d'origine névralgique. Il a dans le même temps retiré l'effet suspensif à un éventuel recours. B. Par jugement incident du 23 décembre 2010, le Tribunal cantonal des assurances sociales de la République et canton de Genève (aujourd'hui: la Cour de justice de la République et canton de Genève, Chambre des assurances sociales) a restitué l'effet suspensif au recours formé par l'assuré contre cette décision, « dans le sens que le recourant a droit au versement d'une demi-rente d'invalidité depuis le jour de la suppression de la rente entière ». C. L'office AI interjette un recours en matière de droit public contre ce jugement incident dont il demande l'annulation. Il conclut à la confirmation du retrait de l'effet suspensif prononcé dans sa décision du 30 septembre 2010. G._ conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales en propose l'admission. 