Faits: Faits: A. L._, né en 1965, a travaillé depuis 1985 en qualité de maçon et, accessoirement, depuis 1989 en qualité de nettoyeur. Des problèmes dorsaux l'ont contraint à arrêter de travailler du 10 au 27 mars et du 1er mai au 23 juillet 2000. Il a cessé définitivement toute activité le 13 septembre 2000. Par demande du 18 octobre 2000, il a requis des prestations de l'assurance-invalidité auprès de l'Office cantonal de l'assurance-invalidité du canton de Genève (ci-après: l'office AI). Il demandait à bénéficier d'une orientation professionnelle, d'un reclassement dans une nouvelle profession et, subsidiairement, de l'octroi d'une rente. Dans un rapport du 1er novembre 2000 à l'intention de l'office AI, le docteur B._, médecin traitant de l'assuré, a posé les diagnostics de lombalgies chroniques en rapport avec une discopathie étagée et de sténose aortique; il a suggéré un reclassement professionnel dans la mesure où son patient n'était plus capable d'exercer le métier de maçon. L'assuré a également produit un rapport médical du 22 mai 2001 du docteur G._, spécialiste en neurologie. L._ a été mis au bénéfice d'un stage de réadaptation professionnelle OSER auprès du Centre d'Intégration Professionnel de Genève (ci-après: le CIP). Dans son rapport du 17 décembre 2001, le CIP a conclu à la possibilité théorique de réadapter l'assuré dans le cadre d'une activité professionnelle légère, assise, avec possibilité d'alterner les positions, à plein temps et rendement normal. Toutefois, les stages en entreprise ont démontré que la mise en oeuvre d'une mesure de réadaptation était vouée à l'échec en raison de l'attitude plaintive de l'assuré qui s'estimait inapte au travail. En raison de son comportement, l'assuré a été mis en demeure de se présenter à l'office AI le 24 janvier 2002 avec vingt preuves de recherches d'emploi dans des activités adaptées. L'assuré n'a pas effectué les démarches demandées, alléguant que son état de santé s'était aggravé et qu'il ne pouvait pas travailler. Pour le docteur B._, interrogé à ce sujet le 25 janvier 2002, l'état de santé de l'assuré n'avait connu aucune évolution depuis le 1er novembre 2000. Par projets de décision du 1er février 2002, l'office AI a informé l'assuré qu'il entendait refuser les demandes de mesures d'ordre professionnel et de rente. L'assuré a alors produit un rapport médical du 18 février 2002 des docteurs U._ et C._. Par deux décisions datés du même jour (20 mars 2002), l'office AI a rejeté les demandes de prestations. Par projets de décision du 1er février 2002, l'office AI a informé l'assuré qu'il entendait refuser les demandes de mesures d'ordre professionnel et de rente. L'assuré a alors produit un rapport médical du 18 février 2002 des docteurs U._ et C._. Par deux décisions datés du même jour (20 mars 2002), l'office AI a rejeté les demandes de prestations. B. L._ a déféré les décisions du 20 mars 2002 à la Commission cantonale de recours AVS-AI, en concluant à l'octroi d'une demi-rente d'invalidité, subsidiairement, à l'ordonnance d'une expertise médicale. Il a joint à son recours un rapport médical de la doctoresse S._, médecin rhumatologue (rapport du 28 juin 2002). Le dossier a été transmis par la suite au Tribunal cantonal des assurances sociales du canton de Genève qui, par jugement du 17 mars 2004, a rejeté le recours. B. L._ a déféré les décisions du 20 mars 2002 à la Commission cantonale de recours AVS-AI, en concluant à l'octroi d'une demi-rente d'invalidité, subsidiairement, à l'ordonnance d'une expertise médicale. Il a joint à son recours un rapport médical de la doctoresse S._, médecin rhumatologue (rapport du 28 juin 2002). Le dossier a été transmis par la suite au Tribunal cantonal des assurances sociales du canton de Genève qui, par jugement du 17 mars 2004, a rejeté le recours. C. L._ interjette un recours de droit administratif contre ce jugement. Sous suite de frais et dépens, il conclut à l'octroi d'une rente d'invalidité, subsidiairement, à ce qu'une expertise pluridisciplinaire soit ordonnée. L'office AI conclut au rejet du recours tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. 