Sachverhalt: A. A.a. Die 1974 geborene thailändische Staatsangehörige S._ war am 25. Mai 1996 in die Schweiz eingereist und hatte am 6. September 1996 den Schweizer W._ geheiratet. Am 24. September 1996 wurde ihr eine Aufenthaltsbewilligung B mit einjähriger Gültigkeit bis 5. September 1997 ausgestellt und diese wurde 1997 und 1998 jeweils um ein Jahr verlängert. In der Folge hatte W._ sich und seine Frau von der Schweiz abgemeldet, da sie nach Thailand gezogen seien. S._ verliess indessen die Schweiz nicht, sondern meldete sich per 1. Juli 1999 in Lampenberg unter der Adresse von K._ an, weshalb die Fremdenpolizei (heute Amt für Migration) den Anspruch auf Verlängerung der Aufenthaltsbewilligung überprüfte. A.b. K._ und S._ ersuchten die Fremdenpolizei um Verlängerung der Aufenthaltsbewilligung im Wesentlichen mit der Begründung, S._ sei in der 24. Woche schwanger, K._ sei der Vater des Kindes und sie beabsichtigten, eine Familie zu gründen. K._ unterzeichnete am 1. Oktober 1999 (recte wohl 1. November 1999) ein Formular der Fremdenpolizei Basel-Landschaft, worin er sich gegenüber den zuständigen Behörden von Bund, Kanton und Gemeinde verpflichtete, für den Lebensunterhalt von S._ während deren Anwesenheit in der Schweiz aufzukommen, falls diese nicht dazu in der Lage sein sollte. Daraufhin verlängerte die Fremdenpolizei die Aufenthaltsbewilligung für S._ erneut um ein Jahr bis 5. September 2000 und am 14. September 2000 sowie am 20. September 2001 für je ein weiteres Jahr. Im Dezember 2000 trennte sich S._ von K._ und zog vorübergehend ins Basler Frauenhaus und danach mit ihrem Sohn ins Heim X._. Mit Schreiben vom 12. Dezember 2001 ersuchte die Fürsorgebehörde Lampenberg (heute Sozialhilfebehörde) K._ um Rückerstattung des Betrages von Fr. 24'263.90, da S._ in der Zeit vom 1. Dezember 2000 bis 15. August 2001 mit rund Fr. 25'000.- unterstützt worden sei. K._ verweigerte die Zahlung, widerrief am 28. Dezember 2001 die Verpflichtungserklärung vom 1. Oktober 1999 und stellte sich auf den Standpunkt, diese habe zeitlich und finanziell nur beschränkt Gültigkeit gehabt. A.c. Mit Verfügung vom 19. November 2008 verpflichtete die Sozialhilfebehörde Lampenberg K._ zur Rückerstattung der in den Jahren 2000 und 2001 an S._ erbrachten Leistungen im Betrag von Fr. 22'708.30. Mit Einspracheentscheid vom 1. September 2009 hielt sie an ihrem Standpunkt fest. Eine dagegen erhobene Beschwerde hiess der Regierungsrat des Kantons Basel-Landschaft mit Beschluss vom 9. November 2010 teilweise gut und verpflichtete K._ zur Rückerstattung des Betrages von Fr. 22'122.65 sowie zur Entrichtung einer reduzierten Parteientschädigung von Fr. 9'120.10. B. Die dagegen erhobene Beschwerde wies das Kantonsgericht Basel-Landschaft mit Entscheid vom 14. März 2012 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt K._ beantragen, der vorinstanzliche Entscheid sei aufzuheben und die Sache sei zur Neuverlegung der Kosten und der Parteientschädigung zurückzuweisen. Die Sozialhilfebehörde Lampenberg lässt auf Abweisung der Beschwerde schliessen, soweit darauf einzutreten sei. Das Kantonsgericht Basel-Landschaft verzichtet auf eine Vernehmlassung. 