Faits: Faits: A. Le 11 février 1997, A._ a été engagé par le Groupement X._ (ci-après: le Groupement), à Genève, en qualité de concierge chargé des travaux de nettoyage d'un centre commercial. Le salaire a été fixé initialement à 4'200 fr. brut par mois pour une durée de travail de 42 heures par semaine. A partir du 1er janvier 1999, A._ a perçu une rémunération s'élevant à 4'600 fr. brut par mois. Selon un cahier des charges rédigé dans le second semestre de 1999, les concierges devaient effectuer leurs tâches en 43 à 44 heures par semaine. A._ se plaignait d'avoir trop de travail et demandait que du personnel supplémentaire soit engagé, les 42 heures ne suffisant pas, selon lui, à effectuer le travail requis. Les heures supplémentaires faites par le concierge lors de manifestations ponctuelles lui ont été payées. Le 1er mars 2000, A._ s'est plaint par écrit au directeur du centre commercial que son horaire effectif était de 43 à 44 heures par semaine, alors que son contrat prévoyait 42 heures. Il a demandé un horaire conforme à son contrat de travail et a requis le paiement de ses heures supplémentaires. Il a reçu 8'300 fr. à ce titre en mai 2000. Par note écrite du 24 mai 2000, le directeur a demandé à A._ de prendre ses pauses dans le local technique ou au bureau et de ne plus fréquenter les cafés du centre commercial. Lors d'une réunion du 6 juin 2000, le directeur a fait des reproches à A._ sur son travail, indiquant que le concierge devait travailler plus sérieusement. Il a été demandé à A._ d'effectuer trois heures environ de plus par semaine pour le même salaire que l'autre concierge et pour les mêmes prestations. L'employeur cherchait vraisemblablement à ne plus payer des heures supplémentaires à A._, car celui-ci n'arrivait pas à exécuter son travail dans les délais impartis. Le 8 juin 2000, A._ a été congédié pour le 28 septembre 2000. La lettre de licenciement indiquait que, le 6 juin 2000, le concierge avait déclaré être dans l'incapacité d'effectuer correctement les tâches qui lui avaient été confiées dans le délai imparti par ses supérieurs. En outre, il ne pouvait pas être toléré qu'il ne respecte pas les pauses à prendre dans le local technique ou au bureau, selon les instructions données le 24 mai 2000. Le 21 août 2000, A._ a contesté le congé, l'estimant abusif. A._ a travaillé jusqu'au 29 septembre 2000. Il a trouvé un nouvel emploi le 1er janvier 2002. Il a été retenu que les deux concierges actuels font le même travail que A._ en 43 à 45 heures par semaine, pour un salaire de 4'500 à 4'600 fr. brut par mois environ. Il a été retenu que les deux concierges actuels font le même travail que A._ en 43 à 45 heures par semaine, pour un salaire de 4'500 à 4'600 fr. brut par mois environ. B. Le 2 mars 2001, A._ a déposé une demande en justice à l'encontre du Groupement requérant le paiement d'un montant de 31'770,45 fr., comprenant des heures supplémentaires impayées, des jours de vacances non prises et une indemnité pour résiliation abusive de 27'600 fr. équivalant à six mois de salaire. Par jugement du 13 septembre 2001, le Tribunal des prud'hommes du canton de Genève a admis le poste concernant les heures supplémentaires et donné acte à l'employeur de son engagement à payer certains montants, tout en rejetant les conclusions relatives au versement d'une indemnité pour résiliation abusive. Le 23 avril 2002, la Cour d'appel de la juridiction des prud'hommes a confirmé ce jugement. Il a été retenu en substance qu'il avait été demandé à A._ de travailler trois heures environ de plus par semaine pour le même salaire que l'autre concierge en raison de l'insuffisance de ses prestations en 42 heures par semaine. Cette modification du contrat de travail, refusée par l'employé, avait abouti à un licenciement qui n'était pas abusif, car il s'agissait d'une réadaptation adéquate des conditions de travail. Par arrêt du 28 novembre 2002, le Tribunal fédéral a admis le recours principal interjeté par A._ contre cette décision et déclaré irrecevable le recours joint déposé par le Groupement. L'arrêt du 23 avril 2002 a été annulé et la cause renvoyée à la Cour d'appel pour nouvelle décision dans le sens des considérants. Le 18 novembre 2003, la Cour d'appel a rendu un nouvel arrêt. Considérant qu'il n'y avait pas de congé-modification abusif, elle a confirmé le jugement de première instance du 13 septembre 2001. Le 18 novembre 2003, la Cour d'appel a rendu un nouvel arrêt. Considérant qu'il n'y avait pas de congé-modification abusif, elle a confirmé le jugement de première instance du 13 septembre 2001. C. Contre cet arrêt, A._ interjette un recours en réforme au Tribunal fédéral. Il conclut à l'annulation de l'arrêt de la Cour d'appel du 23 avril 2002 et à la condamnation du Groupement à lui verser le montant brut de 27'600 fr. avec intérêt à 5 % dès le 1er octobre 2000. Le Groupement conclut principalement à l'irrecevabilité du recours, subsidiairement à son rejet et à la confirmation de l'arrêt du 18 novembre 2003, plus subsidiairement encore au renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants. 