Sachverhalt: A._ (geb. 1947) war bei der Schweizerischen Unfallversicherungsanstalt (SUVA) obligatorisch gegen die Folgen von Berufs- und Nichtberufsunfällen versichert. 1977 erlitt er einen Autounfall, bei welchem er sich eine Patellarfraktur am rechten Knie zuzog. Die SUVA schloss den Fall nach einem Urteil des Eidgenössischen Versicherungsgerichts vom 19. September 1983 ab. Am 26. Oktober 1996 erlitt A._ erneut einen Unfall mit Verletzung der rechten Hand. Die SUVA erbrachte die gesetzlichen Leistungen und beendete den Fall am 4. Juni 1998. Am 20. Januar 1999 meldete die Arbeitslosenkasse GBI einen Rückfall zum Unfall von 1996; im Juni 1999 erhielt die SUVA überdies eine Rückfallmeldung betreffend den Autounfall von 1977. Mit Verfügung vom 14. Dezember 2001 sprach die SUVA A._ ab 1. Juni 2001 eine Rente auf Grund einer Erwerbsunfähigkeit von 40 % zu und lehnte die Ausrichtung einer Integritätsentschädigung ab. Mit Einspracheentscheid vom 3. Mai 2002 gewährte die Anstalt ihm eine Entschädigung für eine Integritätseinbusse von 9,5 % und bestätigte die Rente. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 15. September 2003 ab. A._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, es sei ihm eine Rente gestützt auf einen Invaliditätsgrad von mindestens 70 % zuzusprechen. Die SUVA schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung, Abteilung Kranken- und Unfallversicherung (seit 1. Januar 2004 im Bundesamt für Gesundheit) auf eine Vernehmlassung verzichtet. 