Faits: Faits: A. A.a N._, né en 1955, a travaillé en qualité de manoeuvre au service d'une entreprise de construction depuis 1985. A ce titre, il était assuré auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA) contre les accidents professionnels et non professionnels. A la suite d'un traumatisme à la main droite survenu le 12 décembre 1997, il a subi une fracture par arrachement de la lèvre antérieure du pôle distal du semi-lunaire. Souffrant depuis lors de douleurs cubito-carpiennes résiduelles persistantes sur status post-fracture du semi-lunaire droit, status post-arthroscopie du poignet droit opéré le 6 juillet 1999, status post-synovectomie avec résection d'une pseudarthrose de la styloïde cubitale, résection partielle du TFCC et ostéotomie de raccourcissement du cubitus droit pratiquées le 26 octobre 1999 (rapport du 10 mai 2000 du docteur F._ [spécialiste FMH en chirurgie de la main]), il a alterné les périodes d'incapacité totale et partielle de travail, avant de définitivement cesser d'exercer toute activité lucrative à partir du 26 octobre 2000. La CNA a pris le cas en charge. A.b Dans un rapport du 14 août 2001, le docteur H._ (médecin-conseil de la CNA) a indiqué qu'il existait une importante discordance entre les plaintes avancées par N._ et les constatations objectives. L'inactivité du membre supérieur droit ne trouvant aucune explication organique, ce médecin a conclu, du point de vue médico-théorique, à une capacité de travail à pleins temps et rendement de l'assuré dans toute activité lucrative légère de type industriel. Sous l'angle fonctionnel, il a évalué à 5 %, le degré de l'atteinte à l'intégrité corporelle corrélative (cf. rapport du 13 août 2001). A.c Sur la base de ces conclusions, la CNA a mis fin à la prise en charge des soins médicaux, ainsi qu'au versement de l'indemnité journalière pour perte de gain avec effet au 30 septembre 2001 (décision du 17 août 2001). Par décision sur opposition du 31 juillet 2002, elle a en revanche alloué à l'assuré, une indemnité d'un montant de 4'860 fr. correspondant à une atteinte à l'intégrité corporelle de 5 %, ainsi qu'une rente fondée sur un degré d'invalidité de 22 % à partir du 1er octobre 2001. De son côté, l'Office de l'assurance-invalidité du canton de Vaud (ci-après : l'office AI) a retenu le même degré d'invalidité et rejeté la demande de rente déposée par l'assuré (décision du 18 décembre 2002). A.c Sur la base de ces conclusions, la CNA a mis fin à la prise en charge des soins médicaux, ainsi qu'au versement de l'indemnité journalière pour perte de gain avec effet au 30 septembre 2001 (décision du 17 août 2001). Par décision sur opposition du 31 juillet 2002, elle a en revanche alloué à l'assuré, une indemnité d'un montant de 4'860 fr. correspondant à une atteinte à l'intégrité corporelle de 5 %, ainsi qu'une rente fondée sur un degré d'invalidité de 22 % à partir du 1er octobre 2001. De son côté, l'Office de l'assurance-invalidité du canton de Vaud (ci-après : l'office AI) a retenu le même degré d'invalidité et rejeté la demande de rente déposée par l'assuré (décision du 18 décembre 2002). B. Saisi de deux recours formés successivement par N._ contre la décision sur opposition de la CNA, puis contre celle de l'office AI, le Tribunal des assurances du canton de Vaud a ordonné la jonction des causes (décision incidente du 26 septembre 2003), avant de rejeter les conclusions formulées par l'assuré (jugement du 4 décembre 2002 [recte: 2003]). B. Saisi de deux recours formés successivement par N._ contre la décision sur opposition de la CNA, puis contre celle de l'office AI, le Tribunal des assurances du canton de Vaud a ordonné la jonction des causes (décision incidente du 26 septembre 2003), avant de rejeter les conclusions formulées par l'assuré (jugement du 4 décembre 2002 [recte: 2003]). C. Celui-ci interjette recours de droit administratif contre ce jugement, dont il requiert l'annulation en concluant, sous suite de frais et dépens, principalement à l'octroi d'une rente allouée par l'assurance-invalidité d'une part, par l'assurance-accidents d'autre part, ainsi que d'une indemnité correspondant à une atteinte à l'intégrité corporelle de 40 %. A titre subsidiaire, il réclame le renvoi de la cause à la juridiction cantonale pour complément d'instruction. L'office AI et la CNA concluent au rejet du recours, tandis que l'Office fédéral des assurances sociales (dont la division afférent à l'assurance-accidents est intégrée à l'Office fédéral de la santé publique depuis le 1er janvier 2004) a renoncé à se déterminer. 