Sachverhalt: Sachverhalt: A. Am 12. Juli 2002 wurde über die X._ AG der Konkurs eröffnet, welcher am 11. Februar 2003 mangels Aktiven eingestellt wurde. Am 21. November 2003 erliess die Ausgleichskasse des Kantons Aargau gegen den ehemaligen Verwaltungsrat der X._ AG, D._, eine Verfügung auf Bezahlung von Schadenersatz in der Höhe von Fr. 51 204.90 für entgangene bundesrechtliche Sozialversicherungsbeiträge. Die hiegegen erhobene Einsprache wies sie mit Entscheid vom 4. Februar 2004 ab. A. Am 12. Juli 2002 wurde über die X._ AG der Konkurs eröffnet, welcher am 11. Februar 2003 mangels Aktiven eingestellt wurde. Am 21. November 2003 erliess die Ausgleichskasse des Kantons Aargau gegen den ehemaligen Verwaltungsrat der X._ AG, D._, eine Verfügung auf Bezahlung von Schadenersatz in der Höhe von Fr. 51 204.90 für entgangene bundesrechtliche Sozialversicherungsbeiträge. Die hiegegen erhobene Einsprache wies sie mit Entscheid vom 4. Februar 2004 ab. B. D._ führte hiegegen Beschwerde und beantragte in prozessualer Hinsicht die Durchführung einer mündlichen Verhandlung. Mit Entscheid vom 31. August 2004 wies das Versicherungsgericht des Kantons Aargau die Beschwerde ohne Durchführung einer Verhandlung ab. B. D._ führte hiegegen Beschwerde und beantragte in prozessualer Hinsicht die Durchführung einer mündlichen Verhandlung. Mit Entscheid vom 31. August 2004 wies das Versicherungsgericht des Kantons Aargau die Beschwerde ohne Durchführung einer Verhandlung ab. C. D._ führt Verwaltungsgerichtsbeschwerde mit dem Antrag, in Aufhebung des angefochtenen Entscheides sei die Sache an die Vorinstanz zur Neubeurteilung zurückzuweisen. Das kantonale Gericht, die Ausgleichskasse des Kantons Aargau und das Bundesamt für Sozialversicherung verzichten auf eine Vernehmlassung. 