Sachverhalt: Sachverhalt: A. Die am ... 2000 gegründete Z._ GmbH verlegte per ... 2001 ihren Sitz von X._ (Kanton Bern) nach Y._ (Kanton Freiburg). Als Gesellschafter und Geschäftsführer je mit Einzelunterschrift amteten M._ (mit einer Stammeinlage von Fr. 8'000.-) sowie S._ (mit einer Stammeinlage von Fr. 12'000.-). Am 8. April 2003 wurde der Ausgleichskasse des Kantons Bern (nachfolgend: Ausgleichskasse) ein Pfändungsverlustschein über Fr. 4'869.75 ausgestellt. Nach Deponierung der Bilanz wurde am ... 2003 über die Gesellschaft der Konkurs eröffnet und am ... 2004 mangels Aktiven eingestellt. Mit Verfügung vom 31. März 2005 verpflichtete die Ausgleichskasse M._ zur Bezahlung von Schadenersatz für entgangene Sozialversicherungsbeiträge in der Höhe von Fr. 4'869.75. Gegen diese Verfügung erhoben M._ und S._ Einsprache. Mit Einspracheentscheiden vom 28. April 2005 trat die Ausgleichskasse auf die Einsprache von S._ nicht ein mit der Begründung, man habe ihm gegenüber auf ein Schadenersatzverfahren verzichtet, da er insolvent sei, weshalb er mangels Anfechtungsobjekt nicht zur Einsprache legitimiert sei, und hielt an der Schadenersatzforderung gegenüber M._ fest. Am 8. April 2003 wurde der Ausgleichskasse des Kantons Bern (nachfolgend: Ausgleichskasse) ein Pfändungsverlustschein über Fr. 4'869.75 ausgestellt. Nach Deponierung der Bilanz wurde am ... 2003 über die Gesellschaft der Konkurs eröffnet und am ... 2004 mangels Aktiven eingestellt. Mit Verfügung vom 31. März 2005 verpflichtete die Ausgleichskasse M._ zur Bezahlung von Schadenersatz für entgangene Sozialversicherungsbeiträge in der Höhe von Fr. 4'869.75. Gegen diese Verfügung erhoben M._ und S._ Einsprache. Mit Einspracheentscheiden vom 28. April 2005 trat die Ausgleichskasse auf die Einsprache von S._ nicht ein mit der Begründung, man habe ihm gegenüber auf ein Schadenersatzverfahren verzichtet, da er insolvent sei, weshalb er mangels Anfechtungsobjekt nicht zur Einsprache legitimiert sei, und hielt an der Schadenersatzforderung gegenüber M._ fest. B. Die von M._ hiegegen am Verwaltungsgericht des Kantons Bern erhobene Beschwerde überwies dieses mit Zwischenverfügung vom 7. Oktober 2005 an das Verwaltungsgericht des Kantons Freiburg, Sozialversicherungsgerichtshof, mit der Begründung, es sei zur Behandlung der Beschwerde örtlich unzuständig, soweit Sozialversicherungsbeiträge gemäss Bundesrecht streitig seien. Das Verfahren betreffend FAK-Beiträge blieb beim Verwaltungsgericht des Kantons Bern hängig und wurde bis zum Vorliegen eines rechtskräftigen Entscheides des Verwaltungsgerichts des Kantons Freiburg, Sozialversicherungsgerichtshof, sistiert. Mit Entscheid vom 23. Februar 2006 hiess das Verwaltungsgericht des Kantons Freiburg, Sozialversicherungsgerichtshof, die Beschwerde teilweise gut und reduzierte die Schadenersatzforderung um den Betrag der FAK-Beiträge von Fr. 684.- auf Fr. 4'185.75. B. Die von M._ hiegegen am Verwaltungsgericht des Kantons Bern erhobene Beschwerde überwies dieses mit Zwischenverfügung vom 7. Oktober 2005 an das Verwaltungsgericht des Kantons Freiburg, Sozialversicherungsgerichtshof, mit der Begründung, es sei zur Behandlung der Beschwerde örtlich unzuständig, soweit Sozialversicherungsbeiträge gemäss Bundesrecht streitig seien. Das Verfahren betreffend FAK-Beiträge blieb beim Verwaltungsgericht des Kantons Bern hängig und wurde bis zum Vorliegen eines rechtskräftigen Entscheides des Verwaltungsgerichts des Kantons Freiburg, Sozialversicherungsgerichtshof, sistiert. Mit Entscheid vom 23. Februar 2006 hiess das Verwaltungsgericht des Kantons Freiburg, Sozialversicherungsgerichtshof, die Beschwerde teilweise gut und reduzierte die Schadenersatzforderung um den Betrag der FAK-Beiträge von Fr. 684.- auf Fr. 4'185.75. C. Mit Verwaltungsgerichtsbeschwerde beantragt M._ die Aufhebung des vorinstanzlichen Entscheides. Die Ausgleichskasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung verzichtet. 