Sachverhalt: Sachverhalt: A. G._, geboren 1952, leidet seit mehreren Jahren an einer hochgradigen Schwerhörigkeit beidseits sowie an einem chronischen lumboradikulären Syndrom mit Fussheberparese links und Sensibilitätsstörung beidseits bei Spondylolisthesis L5/S1 und Status nach Diskushernienoperation 1985. Nachdem die IV-Stelle des Kantons Aargau dem Versicherten zunächst Hilfsmittel (Hörgeräte und orthopädische Lendenmieder) zuerkannt hatte, sprach sie ihm mit Verfügung vom 27. März 1996 mit Wirkung ab 1. November 1994 bei einem Invaliditätsgrad von 53 % eine halbe Invalidenrente zu. Am 24. Februar 1998 leitete die IV-Stelle von Amtes wegen eine Rentenrevision ein. In diesem Verfahren machte der Versicherte eine Verschlimmerung des Gesundheitszustands geltend, worauf die IV-Stelle die erwerblichen und medizinischen Verhältnisse unter Mitwirkung des Versicherten abklärte. Gestützt auf einen hierauf erstellten Abklärungsbericht vom 15. Juli 1999 sowie einen Einkommensvergleich, der einen Invaliditätsgrad von 55 % ergab, verneinte die IV-Stelle mit Beschluss vom 6. August 1999 eine rentenbeeinflussende Änderung des Invaliditätsgrades, was sie dem Versicherten am 10. August 1999 mitteilte, unter dem Hinweis, er könne bei Nichteinverständnis eine beschwerdefähige Verfügung verlangen. Mit Schreiben vom 16. Juni 2002 ersuchte G._ um Revision der Invalidenrente, da sich sein Gesundheitszustand drastisch verschlechtert habe und er seit 1. Januar 2002 zu 80 % arbeitsunfähig sei. Nach erneuter Überprüfung der medizinischen Verhältnisse sprach die IV-Stelle dem Versicherten mit Verfügung vom 9. Januar 2003 mit Wirkung ab 1. Juni 2002 bei einem Invaliditätsgrad von 80 % eine ganze Rente zu. Gegen diese Verfügung erhob G._ am 31. Januar 2003 Einsprache mit dem sinngemässen Antrag, den Beginn des Anspruchs auf eine ganze Rente auf den 1. Januar 2002 festzulegen. Die IV-Stelle wies die Einsprache mit Entscheid vom 7. Mai 2003 ab. Mit Schreiben vom 16. Juni 2002 ersuchte G._ um Revision der Invalidenrente, da sich sein Gesundheitszustand drastisch verschlechtert habe und er seit 1. Januar 2002 zu 80 % arbeitsunfähig sei. Nach erneuter Überprüfung der medizinischen Verhältnisse sprach die IV-Stelle dem Versicherten mit Verfügung vom 9. Januar 2003 mit Wirkung ab 1. Juni 2002 bei einem Invaliditätsgrad von 80 % eine ganze Rente zu. Gegen diese Verfügung erhob G._ am 31. Januar 2003 Einsprache mit dem sinngemässen Antrag, den Beginn des Anspruchs auf eine ganze Rente auf den 1. Januar 2002 festzulegen. Die IV-Stelle wies die Einsprache mit Entscheid vom 7. Mai 2003 ab. B. In der dagegen erhobenen Beschwerde liess der Versicherte geltend machen, dass gestützt auf die Aktenlage bereits seit Januar 1999 ein Anspruch auf eine ganze Rente bestehe und dass ihm die Mitteilung vom 10. August 1999 über den Abschluss des Revisionsverfahrens nicht zugestellt worden sei. Das Versicherungsgericht des Kantons Aargau wies die Beschwerde mit Entscheid vom 10. März 2004 ab, soweit darauf einzutreten war. B. In der dagegen erhobenen Beschwerde liess der Versicherte geltend machen, dass gestützt auf die Aktenlage bereits seit Januar 1999 ein Anspruch auf eine ganze Rente bestehe und dass ihm die Mitteilung vom 10. August 1999 über den Abschluss des Revisionsverfahrens nicht zugestellt worden sei. Das Versicherungsgericht des Kantons Aargau wies die Beschwerde mit Entscheid vom 10. März 2004 ab, soweit darauf einzutreten war. C. Dagegen lässt G._ Verwaltungsgerichtsbeschwerde führen mit dem Antrag, es sei ihm bereits mit Wirkung ab 1. Januar 1999 eine ganze Invalidenrente zuzusprechen. Die IV-Stelle und das Bundesamt für Sozialversicherung verzichten auf eine Vernehmlassung. 