Faits: Faits: A. C._, né en 1952, a travaillé en qualité de maçon dans l'entreprise P._ SA dès 1984. Le 20 mars 2000, il a été victime d'un accident de travail, une barre métallique ayant violemment heurté le versant latéral externe de son genou gauche. Depuis lors, il n'a plus exercé d'activité lucrative. Le 31 août 2001, il s'est annoncé à l'assurance-invalidité. Dans le cadre de l'instruction de la demande, l'Office de l'assurance-invalidité du canton de Genève (ci-après : l'Office AI) a recueilli l'avis du docteur S._, spécialiste en chirurgie orthopédique (cf. rapports des 21 septembre et 29 octobre 2001). Ce dernier a fait état d'une fracture du cartilage rotulien et d'une lésion méniscale. Selon ce médecin, la capacité de travail du patient reste entière dans une profession ne comportant pas de charge sur les jambes. Il a en outre précisé que le patient ne pouvait pas lever, porter ou déplacer des charges, ni se baisser, travailler en hauteur ou se déplacer sur un sol irrégulier ou en pente. L'Office AI a ensuite enjoint l'assuré de suivre un stage d'observation professionnelle (ci-après : COPAI), qui s'est déroulé au Centre d'intégration professionnelle du 8 avril au 2 juin 2002. A l'issue du stage, le docteur L._, spécialiste FMH en médecine interne, a estimé que la capacité de travail de l'assuré devrait être entière dans toute activité ne sollicitant pas le genou de manière prolongée et exagérée (cf. rapport du 19 juin 2002). Le COPAI a, pour sa part, constaté que l'assuré disposait d'une capacité résiduelle de travail de 80 % (soit un rendement de 80 % sur un plein temps) dans une activité légère privilégiant la position assise, cette capacité pouvant même atteindre le 100 % après une période d'adaptation (rapport du directeur du COPAI, A._, du 26 juin 2002). Quant à la doctoresse T._, généraliste, elle a admis que compte tenu des douleurs lombaires de son patient, ce dernier avait une capacité résiduelle de travail d'au maximum 50 % (cf. rapport du 18 novembre 2002). Par décision du 3 décembre 2002, l'Office AI a alloué à C._ un quart de rente à partir du 1er mars 2001. Peu avant, la Caisse nationale suisse d'assurance en cas d'accidents (ci-après : la CNA) avait, par décision du 16 septembre 2002, alloué à l'assuré une rente d'invalidité de 20 % à partir du 1er juin 2002. Cette décision n'a pas été attaquée. Peu avant, la Caisse nationale suisse d'assurance en cas d'accidents (ci-après : la CNA) avait, par décision du 16 septembre 2002, alloué à l'assuré une rente d'invalidité de 20 % à partir du 1er juin 2002. Cette décision n'a pas été attaquée. B. C._ a recouru contre la décision de l'Office AI du 3 décembre 2002, en concluant à l'allocation d'une rente entière d'invalidité. Statuant le 18 août 2004, le Tribunal cantonal genevois des assurances sociales a arrêté le taux d'invalidité à 40,28 %, en se basant sur un revenu sans invalidité de 63'607 fr. et un revenu avec invalidité de 37'980 fr. Statuant le 18 août 2004, le Tribunal cantonal genevois des assurances sociales a arrêté le taux d'invalidité à 40,28 %, en se basant sur un revenu sans invalidité de 63'607 fr. et un revenu avec invalidité de 37'980 fr. C. C._ interjette recours de droit administratif contre ce jugement dont il requiert l'annulation. A titre principal, il conclut derechef à l'octroi d'une rente entière, sous suite de frais et dépens; subsidiairement, il demande de renvoyer la cause à l'instance inférieure pour qu'elle détermine à nouveau son degré d'invalidité. L'intimé conclut au rejet du recours et à la confirmation du jugement attaqué. L'Office fédéral des assurances sociales a renoncé à se déterminer. 