Sachverhalt: Sachverhalt: A. Mit Urteil vom 28. Juni 2002, I 495/01, hob das Eidgenössische Versicherungsgericht in teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde des 1966 geborenen D._ den Entscheid der Kantonalen Rekurskommission für die Ausgleichskassen und die IV-Stellen, Basel (heute: Sozialversicherungsgericht Basel-Stadt), vom 6. April 2001 auf, weil die im Rahmen des Verwaltungsverfahrens eingeholten und die im Verlauf des vorinstanzlichen Prozesses eingereichten medizinischen Gutachten einander in den Schlussfolgerungen widersprachen. Es wies die Sache an das Sozialversicherungsgericht Basel-Stadt zurück, damit es ein Obergutachten veranlasse. Dieses sollte sich mit den Widersprüchen zwischen den verfügbaren Berichten befassen und dazu Stellung nehmen, inwiefern sich ein beim Versicherten vorliegender psychischer Gesundheitsschaden mit Krankheitswert auf dessen Arbeitsfähigkeit auswirkte. Dabei waren auch die möglichen Ursachen eines psychischen Gesundheitsschadens näher zu beleuchten. Hernach hatte das Gericht über die Beschwerde gegen die den Rentenanspruch ablehnende Verfügung der IV-Stelle Basel-Stadt vom 15. November 1999 neu zu entscheiden. A. Mit Urteil vom 28. Juni 2002, I 495/01, hob das Eidgenössische Versicherungsgericht in teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde des 1966 geborenen D._ den Entscheid der Kantonalen Rekurskommission für die Ausgleichskassen und die IV-Stellen, Basel (heute: Sozialversicherungsgericht Basel-Stadt), vom 6. April 2001 auf, weil die im Rahmen des Verwaltungsverfahrens eingeholten und die im Verlauf des vorinstanzlichen Prozesses eingereichten medizinischen Gutachten einander in den Schlussfolgerungen widersprachen. Es wies die Sache an das Sozialversicherungsgericht Basel-Stadt zurück, damit es ein Obergutachten veranlasse. Dieses sollte sich mit den Widersprüchen zwischen den verfügbaren Berichten befassen und dazu Stellung nehmen, inwiefern sich ein beim Versicherten vorliegender psychischer Gesundheitsschaden mit Krankheitswert auf dessen Arbeitsfähigkeit auswirkte. Dabei waren auch die möglichen Ursachen eines psychischen Gesundheitsschadens näher zu beleuchten. Hernach hatte das Gericht über die Beschwerde gegen die den Rentenanspruch ablehnende Verfügung der IV-Stelle Basel-Stadt vom 15. November 1999 neu zu entscheiden. B. Nach Wiederaufnahme des Verfahrens bestimmte das kantonale Sozialversicherungsgericht Dr. med. X._, Facharzt FMH für Psychiatrie und Psychotherapie, zum Obergutachter (Verfügung vom 27. September 2002). Dieser reichte seine Expertise am 17. Dezember 2002 ein. Er attestierte dem Versicherten eine Leistungseinschränkung von nicht mehr als 30 %. Am 10. September 2003 wies das Sozialversicherungsgericht die Beschwerde gegen die Verfügung der IV-Stelle vom 15. November 1999 ab, wobei es einen Invaliditätsgrad von 30 % festlegte. B. Nach Wiederaufnahme des Verfahrens bestimmte das kantonale Sozialversicherungsgericht Dr. med. X._, Facharzt FMH für Psychiatrie und Psychotherapie, zum Obergutachter (Verfügung vom 27. September 2002). Dieser reichte seine Expertise am 17. Dezember 2002 ein. Er attestierte dem Versicherten eine Leistungseinschränkung von nicht mehr als 30 %. Am 10. September 2003 wies das Sozialversicherungsgericht die Beschwerde gegen die Verfügung der IV-Stelle vom 15. November 1999 ab, wobei es einen Invaliditätsgrad von 30 % festlegte. C. Mit Verwaltungsgerichtsbeschwerde lässt der Versicherte beantragen, der vorinstanzliche Entscheid und die Verfügung der IV-Stelle seien aufzuheben und es sei ihm eine halbe Invalidenrente zuzusprechen; eventualiter sei die Sache zur Zusprechung einer halben Invalidenrente und subeventualiter zur Prüfung des Härtefalls an die Vorinstanz zurückzuweisen. Während die IV-Stelle auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherung auf eine Vernehmlassung. 