Sachverhalt: A. A._, B._, C._ und D. X._ (Vermieter, Beklagte, Beschwerdeführer) vermieten E._ (Mieterin, Klägerin, Beschwerdegegnerin) an der Y._strasse in Z._ eine 4-Zimmerwohnung. Zwischen den Parteien kam es zu diversen Mietstreitigkeiten, insbesondere infolge Mietzinserhöhungen. Mit Schreiben vom 21. Januar 2012 focht die Mieterin die "Kündigungsandrohung/Mietzinserhöhung vom 23.12.2011" bei der Schlichtungsstelle für Mietangelegenheiten als unangemessen und missbräuchlich an. Am 3. April 2012 fand die Schlichtungsverhandlung statt, an welcher eine Vereinbarung unter Widerrufsvorbehalt unterzeichnet wurde. Die Vermieter erklärten mit Schreiben vom 4. Mai 2012 die von der Gegenpartei geltend gemachte Nichtigkeit der Mietzinsanpassung vom 23. Dezember 2011"mit Bedauern entgegenkommenderweise unpräjudiziell" anzuerkennen. Im gleichen Schreiben lehnten sie die vorgeschlagene Vereinbarung ab. Am 7. Mai 2012 stellte die Schlichtungsstelle die Klagebewilligung aus. B. B.a. Mit Klage vom 7. Juni 2012 reichte die Mieterin dem Bezirksgerichtspräsidenten Liestal folgende Rechtsbegehren ein: "1. Es sei festzustellen, dass die Mietzinsänderung vom 25.07.2011 ungültig/ nichtig ist. 2. Es sei festzustellen, dass die Mietzinsänderung vom 23.12.2011 ungültig/ nichtig ist. 3. Es sei festzustellen, dass die Klausel unter der Rubrik "Besondere Verein- barungen" im Mietvertrag vom 13. Januar 1987 dahingehend verstanden werden durfte und musste, dass mit Unterhalt lediglich der kleine Unter- halt zu verstehen ist und demgemäss nur der kleine Unterhalt Sache der Mieterin ist, wohingegen der übrige Unterhalt vom Vermieter zu tragen ist." Anlässlich der erstinstanzlichen Gerichtsverhandlung fragte der Bezirksgerichtspräsident bei den Vermietern nach, was die mit Schreiben vom 4. Mai 2012 erklärte unpräjudizielle Anerkennung der Nichtigkeit der Mietzinsanpassung vom 23. Dezember 2011 bedeute. Daraufhin anerkannten die Vermieter vorbehaltlos, dass die Mietzinsänderung vom 23. Dezember 2011 nichtig sei. Mit Urteil vom 27. November 2012 trat der Bezirksgerichtspräsident Liestal nicht auf die Rechtsbegehren Ziffern 1 und 3 der Klage ein und stellte fest, die Beklagten hätten die Nichtigkeit der Mietzinsänderung vom 23. Dezember 2011 anerkannt. Die Gerichtskosten von Fr. 600.-- wurden den Parteien je zur Hälfte auferlegt und die Parteikosten wettgeschlagen (Ziffer 3 des Urteil-Dispositivs). B.b. Gegen dieses Urteil erhoben die Beklagten am 6. März 2013 Beschwerde an das Kantonsgericht Basel-Landschaft. Mit Entscheid vom 4. Juni 2012 erkannte das Kantonsgericht Basel-Landschaft: "1. Auf die Beschwerde in der Hauptsache wird nicht eingetreten. Soweit sich die Beschwerde gegen den Kostenentscheid richtet, wird sie teilweise gut- geheissen und Ziff. 3 des Urteils des Bezirksgerichtspräsidenten Liestal vom 27.11.2012 wird wie folgt abgeändert: "Die ordentlichen Kosten von CHF 600.00 werden de r Klagpartei auferlegt. Die Parteikosten werden wettgeschlagen". 2. Die Gerichtsgebühr von CHF 1'800.00 wird zu 4/5 der Beschwerdeführerin [den Beklagten] und zu 1/5 der Beschwerdegegnerin auferlegt. Die Be- schwerdeführerin hat der Beschwerdegegnerin [den Beklagten]eine redu- zierte Parteientschädigung von CHF 1'000.00 zzgl. MWST von CHF 80.00 zu leisten. Im Übrigen werden die Parteikosten wettgeschlagen." Das Kantonsgericht erwog im Wesentlichen, dass auf die Beschwerde der Beklagten - soweit sie nicht den Kostenentscheid betreffe - nicht eingetreten werden könne, da es den Beklagten mangels formeller Beschwer an einem Rechtsschutzinteresse fehle. Bezüglich dem Kostenpunkt nahm das Kantonsgericht an, das Bezirksgericht habe den Zeitpunkt der Klageanerkennung der Beklagten in Bezug auf Ziffer 2 der Klagebegehren falsch festgestellt, weshalb ihnen keine Gerichtskosten hätten auferlegt werden dürfen. Der Kostenentscheid der Vorinstanz sei daher teilweise aufzuheben und die Gerichtskosten von Fr. 600.-- vollständig der Klägerin aufzuerlegen. C. Mit subsidiärer Verfassungsbeschwerde beantragen die Beklagten dem Bundesgericht im Wesentlichen, der Entscheid des Kantonsgerichts Basel-Landschaft vom 4. Juni 2013 sei aufzuheben, die Beschwerde vom 6. März 2013 gutzuheissen und Ziffer 3 des Urteils des Bezirksgerichtspräsidenten Liestal vom 27. November 2012 wie folgt abzuändern: "Die ordentlichen Gerichtskosten von CHF 600 werden der Klägerin (...) zu 100 % auferlegt. Die Klägerin (...) hat der Beklagten (...) eine Prozessentschädigung von CHF 5'400 inkl. MWST zu leisten". Sodann beantragen die Beklagten, die Gerichtskosten des vorinstanzlichen Verfahrens seien der Klägerin aufzuerlegen und es sei ihnen eine Prozessentschädigung von Fr. 1'250.-- zuzusprechen. Auf die Einholung von Vernehmlassungen wurde verzichtet. 