Sachverhalt: A. A.a Die Eheleute A._ und B._ sind Stockwerkeigentümer mit Sonderrecht an einer 41⁄2 - Zimmerwohnung. Auch die Ehegatten D._ und C._ sind Stockwerkeigentümer mit Sonderrecht an einer 31⁄2 - Zimmerwohnung. Sie sind alle Mitglieder der Stockwerkeigentümergemeinschaft "E._" in G._. In zwei von der Stockwerkeigentümergemeinschaft eingeleiteten Betreibungen auf Grundpfandverwertung gegen A._ (Betreibung Nr. 1) und B._ (Betreibung Nr. 2) stellte die Stockwerkeigentümergemeinschaft am 26. Februar 2010 das Verwertungsbegehren an das Gemeindeammann- und Betreibungsamt F._. Zudem bestehen gegen die eingangs erwähnten vier Personen (nachfolgend Beschwerdeführer) mehrere Betreibungen auf Pfändung (von diversen Gläubigern, unter anderem auch der Stockwerkeigentümergemeinschaft). Es bildeten sich in der Folge die Gläubigergruppen Nr. 3 (gegen A._), Nr. 4 (gegen D._), Nr. 5 (gegen C._) und Nr. 6 (gegen B._). A.b Mit "beschwerdefähiger Verfügung" vom 22. Juli 2010 kündigte das Betreibungsamt den Beschwerdeführern die Durchführung der Schätzung ihrer Stockwerkeigentumsanteile auf den 26. August 2010, 09.00 Uhr, an. Es hielt fest, die angezeigte "Verkehrswert-Schätzung" betreffe die beiden Betreibungen Nr. 1 und 2 auf Grundpfandverwertung sowie die Betreibungen auf Pfändung der Gläubigergruppen Nr. 3, 4, 5 und 6. B. Gegen diese Verfügung gelangten die Beschwerdeführer am 2. August 2010 an das Bezirksgericht Dielsdorf als untere Aufsichtsbehörde in Schuldbetreibungs- und Konkurssachen und verlangten insbesondere die Aufhebung der Verfügung. Die Stockwerkeigentümergemeinschaft und das Betreibungsamt reichten jeweils am 27. August 2010 eine Beschwerdeantwort beziehungsweise Vernehmlassung ein, die das Bezirksgericht den Beschwerdeführern nicht zustellte. In seinem Beschluss vom 7. September 2010 trat das Bezirksgericht auf die Beschwerde nicht ein, da die Ankündigung der Schätzung vom 22. Juli 2010 eine blosse Mitteilung und keine Verfügung darstelle. Es auferlegte den Beschwerdeführern eine Busse von Fr. 250.-- und eine Gerichtsgebühr von Fr. 500.--, beides unter solidarischer Haftbarkeit. C. Dagegen gelangten die Beschwerdeführer an das Obergericht des Kantons Zürich als obere Aufsichtsbehörde in Schuldbetreibungs- und Konkurssachen. Sie verlangten in der Sache die Aufhebung des bezirksgerichtlichen Beschlusses und die Anordnung, wonach ihre Stockwerkeinheiten nicht zu besichtigen seien und keine Verkehrswertschätzung durchzuführen sei. Zudem sei festzustellen, dass sie über kein verwertbares Vermögen verfügten und das bezirksgerichtliche Verfahren kostenlos sei. Mit Beschluss vom 29. Oktober 2010 hiess das Obergericht den Rekurs teilweise gut und hob den Entscheid des Bezirksgerichts insoweit auf, als es die auferlegte Busse von Fr. 250.-- ohne solidarische Haftbarkeit der Beschwerdeführer anordnete (Ziff. 1 des Dispositivs). Im Übrigen wies es den Rekurs ab (Ziff. 3 des Dispositivs) und trat auf den Antrag auf Feststellung, wonach die Beschwerdeführer über kein verwertbares Vermögen verfügten, nicht ein (Ziff. 2 des Dispositivs). Es erhob für das Rekursverfahren keine Kosten und sprach keine Entschädigungen zu (Ziff. 4 des Dispositivs). Auf das Gesuch der Beschwerdeführer um unentgeltliche Rechtspflege trat es nicht ein und wies das Gesuch um Beiordnung eines Anwalts ab (Ziff. 5 des Dispositivs). D. Eine von den Beschwerdeführern dagegen erhobene Beschwerde in Zivilsachen hiess das Bundesgericht mit Urteil 5A_791/2010 vom 23. März 2011 gut, soweit es darauf eintrat. Es hob die Ziff. 1, 3 und 5 des obergerichtlichen Beschlusses auf und wies die Sache insoweit zu neuer Beurteilung an das Obergericht zurück. Das Bundesgericht erachtete den Anspruch der Beschwerdeführer auf rechtliches Gehör als verletzt, weil das Obergericht - wie bereits das Bezirksgericht - den Beschwerdeführern die Beschwerdeantwort der Stockwerkeigentümergemeinschaft und die Vernehmlassung des Betreibungsamtes vom 27. August 2010 nicht zugestellt hatte und mit dem blossen Verweis auf die Möglichkeit der Akteneinsicht eine solche Gehörsverletzung nicht geheilt werden könne. E. Das Obergericht nahm daraufhin das Verfahren wieder auf. In seiner Verfügung vom 29. April 2011 stellte es den Beschwerdeführern die erwähnte Beschwerdeantwort und Vernehmlassung vom 27. August 2010 zu und setzte ihnen eine Frist von 10 Tagen, um dazu Stellung zu nehmen. Am 2. Mai 2011 stellten die Beschwerdeführer erneut ein Gesuch um unentgeltliche Rechtspflege und Verbeiständung. Mit Beschluss vom 5. Mai 2011 trat das Obergericht auf das Gesuch um unentgeltliche Rechtspflege aufgrund der Kostenlosigkeit des Beschwerdeverfahrens nicht ein (Ziff. 1 des Dispositivs). Das Gesuch um unentgeltliche Verbeiständung wies es ab (Ziff. 2 des Dispositivs). F. Dem Bundesgericht beantragen die Beschwerdeführer in ihrer Beschwerde in Zivilsachen vom 13. Mai 2011, es sei Ziff. 2 des obergerichtlichen Beschlusses vom 5. Mai 2011 aufzuheben und ihnen ihr Rechtsvertreter als unentgeltlicher Rechtsbeistand zu bestellen. Zudem ersuchen sie um unentgeltliche Rechtspflege und Verbeiständung für das bundesgerichtliche Verfahren. In ihrer zusätzlichen Eingabe vom 20. Mai 2011 halten die Beschwerdeführer fest, es sei der Beschwerde "auch ohne Antrag" von Gesetzes wegen die aufschiebende Wirkung zuzuerkennen. Mit der Fristansetzung an das Obergericht zur Beschwerdevernehmlassung vom 24. Mai 2011 hielt das Bundesgericht fest, dass der Beschwerde gegen die Nichternennung eines unentgeltlichen Rechtsbeistandes von Gesetzes wegen keine aufschiebende Wirkung zukomme. Das Obergericht hat die Vorakten zugestellt, auf eine Vernehmlassung aber verzichtet. 