Sachverhalt: A. X._, geb. 1971, von Kosovo, seit Anfang 2009 mit Ausländerausweis C, ist verheiratet mit Z._, geb. 1977, und hat die vier Kinder A._, geb. 1996, B._, geb. 1998, C._, geb. 2000, und D._, geb. 2007. Bei X._ wurden kombinierte und andere Persönlichkeitsstörungen (mit narzisstischen, passiv-aggressiven und antisozialen Anteilen, ICD-10 F61), Störungen durch Alkohol, schädlicher Gebrauch (ICD-10 F10.1) sowie eine rezidivierende depressive Störung gegenwärtig mittelgradige Episode ohne somatisches Syndrom (ICD-10 F33.10) diagnostiziert. Er ist deshalb in psychiatrischer Behandlung und wurde in der Vergangenheit verschiedentlich in psychiatrische Kliniken eingeliefert. Ab April 2006 bis 27. April 2008 bezog X._ Krankentaggeldleistungen. Zwischen dem 22. Oktober und 6. Dezember 2007 fanden berufliche Abklärungen statt, für welche die IV-Stelle Taggelder auszahlte. Am 22. Dezember 2008 verfügte die IV-Stelle Schwyz, dass X._ Anspruch auf eine ganze Invalidenrente bei einem Invaliditätsgrad von 100% ab 1. Juli 2007 habe. B. Mit Beschluss vom 22. August 2007 errichtete die Vormundschaftsbehörde Y._ eine Vertretungs- und Verwaltungsbeistandschaft über X._. Mit Beschluss vom 22. Januar 2008 nahm die Vormundschaftsbehörde das Eingangsinventar ab. Am 24. November 2008 reichte der Beistand E._ der Vormundschaftsbehörde den Rechenschaftsbericht für die Zeit vom 30. August 2007 bis 31. Oktober 2008 zur Genehmigung ein und beantragte, infolge Aufgabe seiner Tätigkeit im Sozialzentrum F._ die Beistandschaft auf seinen Amtsnachfolger G._ zu übertragen. Mit Beschluss vom 7. Januar 2009 genehmigte die Vormundschaftsbehörde den Schlussbericht und übertrug die Beistandschaft an H._. Gegen diesen Beschluss erhob X._ am 26. Januar 2009 Beschwerde beim Regierungsrat des Kantons Schwyz. Mit Verfügung vom 16. Februar 2009 überwies das Sicherheitsdepartement die Beschwerde an die Vormundschaftsbehörde Y._. Mit Beschluss vom 28. Oktober 2009 hob die Vormundschaftsbehörde die Beistandschaft auf und genehmigte den Schlussbericht des Beistandes. Am 26. November 2009 reichte H._ den Rechenschaftsbericht für den Zeitraum vom 1. November 2007 bis 16. November 2009 und die Schlussrechnung per 16. November 2009 ein. Am 22. Dezember 2009 reichte die I._ AG ihren Prüfungsbericht ein. Mit Beschluss vom 13. Januar 2010 genehmigte die Vormundschaftsbehörde die Schlussrechnung und entliess H._ aus dem Amt als Beistand. Gegen diesen Beschluss erhob X._ am 1. Februar 2010 eine Beschwerde, welche der Regierungsrat am 17. August 2011 abwies. Die hiergegen erhobene Beschwerde vom 13. September 2011 wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 18. Januar 2012 ab, soweit es darauf eintrat. C. Gegen diesen Entscheid hat X._ am 7. März 2012 eine Beschwerde erhoben mit den Begehren um dessen Aufhebung und um Prüfung der Schlussrechnung der Vormundschaftsbehörde Y._ vom 26. November 2009 durch einen vom Bundesgericht zu bestellenden Gutachter. Ferner verlangt er die unentgeltliche Rechtspflege. Es wurden keine Vernehmlassungen eingeholt, aber die kantonalen Akten beigezogen. 