Sachverhalt: A. A.a Die Eheleute A._ und B._ sind Stockwerkeigentümer mit Sonderrecht an einer 41⁄2 - Zimmerwohnung. Auch die Ehegatten D._ und C._ sind Stockwerkeigentümer mit Sonderrecht an einer 31⁄2 - Zimmerwohnung. Sie sind alle Mitglieder der Stockwerkeigentümergemeinschaft "E._" in G._. In zwei von der Stockwerkeigentümergemeinschaft "E._" (nachfolgend Beschwerdegegnerin) eingeleiteten Betreibungen auf Grundpfandverwertung gegen A._ (Betreibung Nr. 1) und B._ (Betreibung Nr. 2) stellte die Beschwerdegegnerin am 26. Februar 2010 das Verwertungsbegehren an das Betreibungsamt F._. Zudem bestehen gegen die eingangs erwähnten vier Personen (nachfolgend Beschwerdeführer) mehrere Betreibungen auf Pfändung (von diversen Gläubigern, unter anderem auch der Beschwerdegegnerin). Darunter fallen vier Betreibungen, in denen das Betreibungsamt mit Verfügung vom 25. März 2010 die bereits ausgestellten Verlustscheine wieder aufhob. In diesen vier Betreibungen sowie in den übrigen Betreibungsverfahren pfändete das Betreibungsamt am 21. und 31. Mai 2010 die Stockwerkeigentumsanteile der Beschwerdeführer. Es bildeten sich in der Folge die Gläubigergruppen Nr. 3 (gegen A._), Nr. 4 (gegen D._), Nr. 5 (gegen C._) und Nr. 6 (gegen B._). A.b Mit "beschwerdefähiger Verfügung" vom 22. Juli 2010 kündigte das Betreibungsamt den Beschwerdeführern die Durchführung der Schätzung ihrer Stockwerkeigentumsanteile auf den 26. August 2010, 09.00 Uhr, an. Es hielt fest, die angezeigte "Verkehrswert-Schätzung" betreffe die beiden Betreibungen Nr. 1 und 2 auf Grundpfandverwertung sowie die Betreibungen auf Pfändung der Gläubigergruppen Nr. 3, 4, 5 und 6. B. B.a Gegen diese "beschwerdefähige Verfügung" gelangten die Beschwerdeführer am 2. August 2010 an das Bezirksgericht Dielsdorf als untere Aufsichtsbehörde in Schuldbetreibungs- und Konkurssachen und verlangten deren Aufhebung. Zudem beantragten sie die Feststellung, dass gegen sie kein Pfändungs- beziehungsweise Konkursverfahren im Fortsetzungsstadium hängig sei sowie dass sie über kein verwertbares Vermögen verfügten und die Mitteilung des Betreibungsamtes vom 25. März 2010, in der es die vier Verlustscheine aufhob, gegenstandslos sei. B.b Mit Verfügung vom 16. August 2010 forderte das Bezirksgericht das Betreibungsamt zur ("obligatorischen") Vernehmlassung und die Beschwerdegegnerin zur Einreichung einer Beschwerdeantwort auf. Die Beschwerdegegnerin und das Betreibungsamt reichten jeweils am 27. August 2010 eine Beschwerdeantwort beziehungsweise Vernehmlassung ein. B.c In seinem Beschluss vom 7. September 2010 trat das Bezirksgericht auf die Beschwerde nicht ein, da die Ankündigung der Schätzung vom 22. Juli 2010 eine blosse Mitteilung und keine Verfügung darstelle. Es auferlegte den Beschwerdeführern wegen mutwilliger Prozessführung eine Busse von je Fr. 250.-- und eine Gerichtsgebühr von Fr. 500.--, beides unter solidarischer Haftbarkeit. C. Dagegen gelangten die Beschwerdeführer mit Rekurs vom 17. September 2010 an das Obergericht des Kantons Zürich als obere Aufsichtsbehörde in Schuldbetreibungs- und Konkurssachen. Sie verlangten Einsicht in die Beschwerdeantwort der Beschwerdegegnerin beziehungsweise in die Vernehmlassung des Betreibungsamtes und die Einräumung einer Frist zur Beschwerdeergänzung. Weiter beantragten sie die Aufhebung des Beschlusses des Bezirksgerichts und die Anordnung, wonach ihre Stockwerkeinheiten nicht zu besichtigen und keine Verkehrswertschätzung durchzuführen sei. Zudem sei festzustellen, dass sie über kein verwertbares Vermögen verfügten und das bezirksgerichtliche Verfahren kostenlos sei. Mit Beschluss vom 29. Oktober 2010 hiess das Obergericht den Rekurs teilweise gut und hob den Entscheid des Bezirksgerichts insoweit auf, als es die auferlegte Busse von je Fr. 250.-- ohne solidarische Haftbarkeit der Beschwerdeführer anordnete (Ziff. 1 des Dispositivs). Im Übrigen wies es den Rekurs ab (Ziff. 3 des Dispositivs) und trat auf den Antrag auf Feststellung, wonach die Beschwerdeführer über kein verwertbares Vermögen verfügten, nicht ein (Ziff. 2 des Dispositivs). Es erhob für das Rekursverfahren keine Kosten und sprach keine Entschädigungen zu (Ziff. 4 des Dispositivs). Auf das Gesuch um unentgeltliche Rechtspflege trat es nicht ein und wies das Gesuch um Beiordnung eines Anwalts ab (Ziff. 5 des Dispositivs). D. Dem Bundesgericht beantragen die Beschwerdeführer in ihrer Beschwerde vom 11. November 2010 die Aufhebung des obergerichtlichen Beschlusses mit Ausnahme der Dispositivziff. 3 sowie die "Kassation" der Verfügung des Betreibungsamtes vom 25. März 2010 betreffend Aufhebung der Verlustscheine. Zudem stellen sie für das bezirksgerichtliche, obergerichtliche und bundesgerichtliche Verfahren ein Gesuch um Beiordnung ihres Anwalts als unentgeltlicher Rechtsvertreter und verlangen die Gewährung der aufschiebenden Wirkung für das bundesgerichtliche Verfahren. Die Beschwerdegegnerin beantragt die Abweisung des Gesuchs um aufschiebende Wirkung (Vernehmlassung vom 25. November 2010). Das Obergericht hat auf eine Vernehmlassung verzichtet und das Betreibungsamt hat sich nicht vernehmen lassen. Mit Verfügung vom 26. November 2010 hat die Abteilungspräsidentin der Beschwerde die aufschiebende Wirkung zuerkannt. In der Sache haben das Obergericht und das Betreibungsamt auf eine Vernehmlassung verzichtet. Die Beschwerdegegnerin schliesst in ihrer Vernehmlassung vom 21. Februar 2011 sinngemäss auf Abweisung der Beschwerde. 