Sachverhalt: Sachverhalt: A. Der 1965 geborene J._ erlitt am 24. Dezember 1996 einen Autounfall, bei welchem er sich gemäss ärztlichen Feststellungen ein Distorsionstrauma der Halswirbelsäule (HWS) zuzog. In der Folge war er nach den medizinischen Akten zunächst zu 100 % und anschliessend zu 50 % arbeitsunfähig. Ab 10. Juni 1997 bestand volle Arbeitsfähigkeit, und der Versicherte bezog dementsprechend Arbeitslosenunterstützung. Anschliessend übte er vom 10. Juni 1998 bis 31. Juli 1999 eine Vollzeitbeschäftigung als Koch/Pizzaiolo im Restaurant Y._ aus. Nach zwischenzeitlicher Arbeitslosigkeit (mit Vermittlungsfähigkeit für ein Vollzeitpensum) arbeitete er ab Juni 2000 zu 50 % im Restaurant Z._. Seit 1. Mai 2001 ist er mit einem Pensum von rund 50 % als Koch im Café W._ angestellt. Am 20. August 1999 meldete sich der Versicherte bei der Invalidenversicherung zum Leistungsbezug (Rente) an. Die IV-Stelle des Kantons Aargau zog die Akten des obligatorischen Unfallversicherers "Zürich" Versicherungs-Gesellschaft (nachfolgend: Zürich) bei und führte eigene Abklärungen durch. Nach Vorliegen eines durch die Zürich veranlassten Gutachtens der Klinik X._ vom 23. April (richtig wohl: Juni) 2002 führte sie das Vorbescheidverfahren durch, in dessen Verlauf der Versicherte ein Schreiben des Dr. med. Z._, Leiter Neurorehabilitation der Klinik X._ und Verfasser des erwähnten Gutachtens, vom 9. Januar 2003 einreichen liess. Anschliessend verneinte die Verwaltung mit Verfügung vom 4. Februar 2003 einen Leistungsanspruch. Daran hielt sie auf Einsprache hin mit Entscheid vom 28. Mai 2003 fest. Am 20. August 1999 meldete sich der Versicherte bei der Invalidenversicherung zum Leistungsbezug (Rente) an. Die IV-Stelle des Kantons Aargau zog die Akten des obligatorischen Unfallversicherers "Zürich" Versicherungs-Gesellschaft (nachfolgend: Zürich) bei und führte eigene Abklärungen durch. Nach Vorliegen eines durch die Zürich veranlassten Gutachtens der Klinik X._ vom 23. April (richtig wohl: Juni) 2002 führte sie das Vorbescheidverfahren durch, in dessen Verlauf der Versicherte ein Schreiben des Dr. med. Z._, Leiter Neurorehabilitation der Klinik X._ und Verfasser des erwähnten Gutachtens, vom 9. Januar 2003 einreichen liess. Anschliessend verneinte die Verwaltung mit Verfügung vom 4. Februar 2003 einen Leistungsanspruch. Daran hielt sie auf Einsprache hin mit Entscheid vom 28. Mai 2003 fest. B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau ab (Entscheid vom 6. April 2004). B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau ab (Entscheid vom 6. April 2004). C. Mit Verwaltungsgerichtsbeschwerde lässt J._ das Rechtsbegehren stellen, es sei ihm eine Dreiviertels-Invalidenrente zuzusprechen. Die IV-Stelle - unter Verweis auf den kantonalen Entscheid - und das Bundesamt für Sozialversicherung verzichten auf eine Vernehmlassung. 