Sachverhalt: Sachverhalt: A. Z._, geboren 1940 und selbstständigerwerbender Inhaber einer Tankstelle mit Shop, stürzte am 17. April 1998 von einer Leiter, wobei er sich eine Commotio cerebri, eine Rissquetschwunde occipital, mehrere Kontusionen sowie einen erst später entdeckten Impressions-Keilbruch Th 11 zuzog. Die IV-Stelle des Kantons Schaffhausen zog die Akten des Unfallversicherers bei. Weiter holte sie einen Bericht des Dr. med. B._, Facharzt FMH Allgemeine Medizin, vom 29. November 1999 (mit medizinischen Vorakten) ein und nahm - nebst weiteren Abklärungen in erwerblicher Hinsicht - am 13. April 2000 eine Abklärung im Betrieb vor. Schliesslich veranlasste die Verwaltung eine Begutachtung durch die Klinik S._ (Gutachten vom 23. Februar 2001 mit Bericht über die Evaluation der funktionellen Leistungsfähigkeit vom 11./12. Dezember 2000). Nach durchgeführtem Vorbescheidverfahren lehnte die IV-Stelle mit Verfügung vom 19. Februar 2002 den Anspruch auf eine Invalidenrente ab, da sie in Anwendung eines Betätigungsvergleiches einen Invaliditätsgrad von 21.5% festgestellt hatte. A. Z._, geboren 1940 und selbstständigerwerbender Inhaber einer Tankstelle mit Shop, stürzte am 17. April 1998 von einer Leiter, wobei er sich eine Commotio cerebri, eine Rissquetschwunde occipital, mehrere Kontusionen sowie einen erst später entdeckten Impressions-Keilbruch Th 11 zuzog. Die IV-Stelle des Kantons Schaffhausen zog die Akten des Unfallversicherers bei. Weiter holte sie einen Bericht des Dr. med. B._, Facharzt FMH Allgemeine Medizin, vom 29. November 1999 (mit medizinischen Vorakten) ein und nahm - nebst weiteren Abklärungen in erwerblicher Hinsicht - am 13. April 2000 eine Abklärung im Betrieb vor. Schliesslich veranlasste die Verwaltung eine Begutachtung durch die Klinik S._ (Gutachten vom 23. Februar 2001 mit Bericht über die Evaluation der funktionellen Leistungsfähigkeit vom 11./12. Dezember 2000). Nach durchgeführtem Vorbescheidverfahren lehnte die IV-Stelle mit Verfügung vom 19. Februar 2002 den Anspruch auf eine Invalidenrente ab, da sie in Anwendung eines Betätigungsvergleiches einen Invaliditätsgrad von 21.5% festgestellt hatte. B. Die dagegen - unter Beilage mehrerer Berichte des Dr. med. B._ - erhobene Beschwerde wies das Obergericht des Kantons Schaffhausen mit Entscheid vom 22. August 2003 ab. B. Die dagegen - unter Beilage mehrerer Berichte des Dr. med. B._ - erhobene Beschwerde wies das Obergericht des Kantons Schaffhausen mit Entscheid vom 22. August 2003 ab. C. Z._ lässt Verwaltungsgerichtsbeschwerde führen mit den Anträgen, unter Aufhebung des vorinstanzlichen Entscheides und der Verwaltungsverfügung sei ihm eine halbe Invalidenrente zuzusprechen, eventualiter sei die Sache zur weiteren Abklärung und zu neuem Entscheid an die Vorinstanz zurückzuweisen. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet. D. Da die Verwaltung zusammen mit ihrer Vernehmlassung das nicht (mehr) in den Akten liegende Gutachten der Klinik S._ vom 23. Februar 2001 erneut einreichte, wurde ein zweiter Schriftenwechsel durchgeführt. 