Faits: Faits: A. S._ est titulaire d'un CFC de quincaillier, ainsi que d'un diplôme d'opérateur-programmeur et d'employé d'administration. Il a travaillé durant plus de vingt ans (de 1968 à 1990) pour les services X._ et dans une banque. Parallèlement à son activité professionnelle, il a assuré, depuis le 1er janvier 1997, la conciergerie de l'immeuble qu'il habite, ainsi que d'un immeuble voisin. Souffrant d'angine de poitrine et d'insuffisance artérielle des membres inférieurs, il a déposé, le 6 octobre 1998, une demande de prestations de l'assurance-invalidité. Par décision du 27 novembre 2000 confirmée le 18 avril 2001 par le Tribunal cantonal des assurances du Valais, l'Office cantonal AI du Valais (ci-après : l'office) a rejeté la demande. Par arrêt du 16 janvier 2002, le Tribunal fédéral des assurances a renvoyé la cause à l'administration pour instruction complémentaire et nouvelle décision. Le 24 septembre 2002, l'office a derechef rejeté la demande. Souffrant d'angine de poitrine et d'insuffisance artérielle des membres inférieurs, il a déposé, le 6 octobre 1998, une demande de prestations de l'assurance-invalidité. Par décision du 27 novembre 2000 confirmée le 18 avril 2001 par le Tribunal cantonal des assurances du Valais, l'Office cantonal AI du Valais (ci-après : l'office) a rejeté la demande. Par arrêt du 16 janvier 2002, le Tribunal fédéral des assurances a renvoyé la cause à l'administration pour instruction complémentaire et nouvelle décision. Le 24 septembre 2002, l'office a derechef rejeté la demande. B. S._ a formé recours contre cette décision devant le Tribunal cantonal des assurances du Valais qui l'a débouté par jugement du 2 mai 2003. B. S._ a formé recours contre cette décision devant le Tribunal cantonal des assurances du Valais qui l'a débouté par jugement du 2 mai 2003. C. S._ interjette recours de droit administratif, en concluant, sous suite de dépens, à l'annulation du jugement cantonal et de la décision de l'office, ainsi qu'au renvoi de la cause à l'administration pour nouvelle décision. L'office conclut au rejet du recours, cependant que l'Office fédéral des assurances sociales a renoncé à se déterminer. 