Faits: A. A._ a conclu, le 6 février 1984, avec la Banque Y._ un contrat de crédit en compte courant d'un montant de 40'000 fr. à taux fixe, une commission trimestrielle étant due sur le solde débiteur le plus élevé au cours du trimestre. La ligne de crédit a successivement été élevée jusqu'à 140'000 fr., et les parties sont également convenues d'une clause d'amortissement (500 fr. par mois) et d'un taux d'intérêts variable. Le 10 juin 1992, la Banque Y._ a dénoncé le compte de crédit et fixé à A._ un délai au 24 juillet 1992 pour verser la somme de 158'187 fr. 70, correspondant au solde débiteur du compte au 31 mars 1992. Les parties ont tenté en vain de trouver une solution à l'amiable pour le remboursement du crédit. Le 7 janvier 1994, la Banque X._, issue de la fusion de la Banque Y._ et de la Banque Z._, a retenu la dernière proposition faite par le débiteur de verser 500 fr. mensuellement et 5'300 fr. deux fois par an. La première mensualité devait intervenir le 12 janvier 1994. A._ a versé 500 fr. le 17 janvier 1994, puis jusqu'en mars 1997, irrégulièrement, des montants totalisant la somme de 40'915 fr. Par courrier du 1er février 2001, la banque a mis A._ en demeure de régler, avant le 28 février 2001, le montant de 250'059 fr., correspondant au solde du compte au 31 décembre 2000. B. Le 10 avril 2003, le Tribunal de première instance du canton de Genève a admis à hauteur de 146'433 fr. avec intérêts à 5% dès le 1er février 2001 la demande de la banque visant à condamner A._ à lui verser le montant de 250'059 fr. 20 avec intérêts à 7,25% dès le 1er janvier 2001. Le Tribunal a également levé, à due concurrence, l'opposition formée par celui-ci au commandement de payer que lui avait fait notifier la banque. Statuant sur appel de la banque, la Cour de justice a fait intégralement droit, par arrêt du 13 février 2004, aux conclusions de celle-ci, qui, en appel, avait repris ses conclusions de première instance en fixant toutefois le point de départ des intérêts au 1er février (et non au 1er janvier) 2001. C. A._ interjette un recours en réforme contre cet arrêt. Il demande à ce que celui-ci soit réformé dans le sens où il doit être condamné à verser à la banque le montant de 146'433 fr. avec intérêts à 5% dès le 1er février 2001. La banque conclut au rejet du recours, sous suite de frais et dépens. 