Sachverhalt: Sachverhalt: A. Die am ... 1999 ins Handelsregister eingetragene Y._ GmbH war der Ausgleichskasse des Kantons Aargau (nachfolgend: Ausgleichskasse) als beitragspflichtige Arbeitgeberin angeschlossen. Als Gesellschafter und Geschäftsführer mit Einzelunterschrift und einer Stammeinlage von Fr. 19'000.- amtete W._, als Gesellschafter ohne Zeichnungsberechtigung mit einer Stammeinlage von Fr. 1'000.- E._. Am ... 2003 wurde über die Gesellschaft der Konkurs eröffnet und am ... 2003 mangels Aktiven eingestellt. Mit Verfügung vom 20. April 2004 verpflichtete die Ausgleichskasse W._ zur Bezahlung von Schadenersatz für entgangene Sozialversicherungsbeiträge (einschliesslich FAK-Beiträge, Verwaltungskosten, Verzugszinsen, Mahngebühren und Betreibungskosten) in der Höhe von Fr. 14'832.20. Mit Einspracheentscheid vom 24. August 2004 hielt die Ausgleichskasse an ihrer Schadenersatzforderung fest. Die hiegegen erhobene Beschwerde, mit welcher W._ unter anderem die Verletzung der Begründungspflicht rügen liess, hiess das Versicherungsgericht des Kantons Aargau mit Entscheid vom 11. Januar 2005 gut, hob den Einspracheentscheid vom 24. August 2004 auf und wies die Sache an die Ausgleichskasse zurück. Mit Einspracheentscheid vom 28. September 2005 wies die Ausgleichskasse die Einsprache erneut ab. Mit Einspracheentscheid vom 28. September 2005 wies die Ausgleichskasse die Einsprache erneut ab. B. Die von W._ hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 21. Februar 2006 ab. B. Die von W._ hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 21. Februar 2006 ab. C. Mit Verwaltungsgerichtsbeschwerde lässt W._ beantragen, vorinstanzlicher Entscheid, Einspracheentscheid und Schadenersatzverfügung seien aufzuheben; eventualiter sei die Sache zur Neubeurteilung an das Versicherungsgericht des Kantons Aargau zurückzuweisen. Die Ausgleichskasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung (BSV) auf eine Vernehmlassung verzichtet. 