Sachverhalt: A. Die Eheleute X._ und Z._ sind die Eltern der beiden Mädchen S._, geboren 2005, und T._, geboren 2006. Wegen starker Verwahrlosung und gesundheitlicher Gefährdung der beiden Kinder entzog der Präsident der Vormundschaftsbehörde A._ am 28. August 2007 X._ und Z._ im Sinne einer sofortigen Massnahme gestützt auf Art. 310 ZGB die elterliche Obhut. Ausserdem errichtete er eine Beistandschaft im Sinne von Art. 308 ZGB mit dem Auftrag an den Beistand, die Wohn- und/oder Pflegeplatzverhältnisse der Kinder zu klären bzw. zu prüfen, ob diese an einem Pflegeplatz untergebracht werden müssten, und ordnete an, dass den Eltern entsprechende Unterstützung zu gewähren sei. Die beiden Mädchen wurden noch am 28. August 2007 der Klinik für Kinder und Jugendliche des Kantonsspitals C._ anvertraut. Am 30. August 2007 und am 3. September 2007 genehmigte bzw. bestätigte die Vormundschaftsbehörde A._ Obhutsentzug und Beistandschaft. Die als Beiständin ernannte Y._ wurde beauftragt, für die Betreuung und Vertretung der Kinder besorgt zu sein, einen geeigneten Pflegeplatz zu suchen, die Beziehung zwischen den Eltern und den Kindern zu überwachen und für den Informationsaustausch mit den Eltern zu sorgen. Am 10. September 2007 bewilligte die Vormundschaftsbehörde die Unterbringung der beiden Kinder im Heim B._ und erteilte eine entsprechende Kostengutsprache. Die angeführten Beschlüsse blieben unangefochten und erwuchsen demnach in Rechtskraft. B. Mit Eingabe vom 1. November 2007 an die Vormundschaftsbehörde beantragten X._ und Z._, den Obhutsentzug aufzuheben und eine Familienbegleitung anzuordnen. Die Vormundschaftsbehörde holte bei der Beiständin und beim Heim B._ Berichte und Ergänzungsberichte ein, nahm einen Bericht der Kantonalen Psychiatrischen Dienste zum Gesundheitszustand von Z._ zu den Akten und führte eine Besichtigung des von X._ und Z._ und den Kindern bewohnten Einfamilienhauses durch. Am 7. Januar 2008 wies sie den Antrag um Aufhebung des Obhutsentzugs ab. X._ und Z._ zogen die Sache ohne Erfolg an das Bezirksamt D._ weiter, und aufgrund einer Beschwerde gegen dessen Entscheid vom 17. März 2008 erkannte das Obergericht des Kantons Aargau (Kammer für Vormundschaftswesen als zweitinstanzliche vormundschaftliche Aufsichtsbehörde) am 18. Juni 2008, dass von Amtes wegen verschiedene vormundschaftsbehördliche Beschlüsse wie auch der Entscheid des Bezirksamtes aufgehoben bzw. abgeändert würden, die gegen letzteren eingereichte Beschwerde jedoch abgewiesen werde, soweit darauf einzutreten sei. Abgewiesen wurde gleichzeitig auch das Gesuch um Gewährung der unentgeltlichen Rechtspflege für das obergerichtliche Verfahren. C. Gegen den Entscheid des Obergerichts haben X._ und Z._ mit Eingabe vom 14. Juli 2008 Beschwerde in Zivilsachen erhoben. Sie beantragen im Wesentlichen, es sei der Obhutsentzug aufzuheben, eine geeignete Familienbegleitung anzuordnen und ihnen für das kantonale Verfahren die unentgeltliche Rechtspflege zu gewähren. Ausserdem ersuchen sie auch für das Verfahren vor Bundesgericht um Gewährung des Armenrechts. Durch Präsidialverfügung vom 17. Juli 2008 ist das Begehren der Beschwerdeführer, der Beschwerde aufschiebende Wirkung zuzuerkennen, abgewiesen worden. Vernehmlassungen zur Beschwerde sind nicht eingeholt worden. 