Faits: A. A._ et B._ sont propriétaires de la parcelle n° 2949 du cadastre de la commune de Blonay. Ce bien-fonds, colloqué en zone agricole, supporte une maison paysanne du XIXème siècle qui n'avait pas d'usage agricole au 1er juillet 1972. Il est entouré au nord-ouest et au sud de deux bâtiments d'habitation; le reste de l'entourage est composé de prés et de champs cultivés. Lors de l'acquisition de la parcelle, le 16 septembre 1999, les façades de pierre de la maison étaient recouvertes d'un crépi de couleur ocre; la façade ouest comportait un balcon étroit avec plancher et balustrade en bois; la façade sud présentait une organisation tripartite (habitation, grange et écurie) avec une paroi boisée dans la partie "grange"; les alentours immédiats de la maison étaient couverts de dallage ou de gravier; au sud de celle-ci, se trouvait une construction rectangulaire composée de poteaux en bois recouverts d'un toit en tôle. Cette maison paysanne s'était vu attribuer le 31 mars 1976 la note *4* (qualités d'intégration) au recensement architectural vaudois réalisé par le Service immeubles, patrimoine et logistique (ci-après: le SIPAL). Le 5 août 2000, l'immeuble a été réévalué pour obtenir le note *3* (importance locale). Les propriétaires en ont été informés par le SIPAL le 17 mai 2001; la municipalité de Blonay en a eu connaissance le 6 mars 2002. B. Le 9 mai 2000, A._ et B._ ont déposé une demande de permis de construire portant sur la transformation de l'appartement existant dans la maison paysanne, la création d'un logement dans le rural, l'installation d'une citerne et la création de quatre places de parc; une terrasse d'une profondeur de 2,60 m figurait sur les plans le long de la façade sud, devant l'ancienne partie "rural". S'agissant de l'agrandissement de la partie habitable d'un ancien bâtiment agricole sis hors zone à bâtir, une autorisation spéciale a été donnée par le Service vaudois de l'aménagement du territoire (ci-après: le SAT) et l'autorisation de construire a été délivrée par la municipalité le 4 août 2000. Cette dernière a également délivré un permis de construire le 17 novembre 2000 pour une modification du projet portant notamment sur la création d'un studio et de bureaux. Ces projets n'ont pas été transmis au SIPAL. Le 14 décembre 2005, la municipalité a délivré le permis d'habiter pour les deux projets autorisés. Le 12 juin 2006, A._ et B._ ont déposé une demande de permis de construire portant sur la construction d'une piscine de 40 m2; les plans faisaient état d'une margelle d'une largeur de 50 cm, à construire, et d'une barrière existante longeant les façades sud et est de la maison à une distance d'environ 2,60 m de celle-ci. L'autorisation spéciale a été donnée par le SAT, dans la mesure où aucun aménagement extérieur n'était prévu, à l'exception de la margelle autour du bassin de la piscine. La municipalité a délivré le permis de construire le 15 septembre 2006. C. A l'occasion d'un contrôle de la fin des travaux, le 23 juin 2009, la municipalité a constaté que plusieurs installations avaient été réalisées sans autorisation. Interpellé, le Service du développement territorial (ci-après: le SDT), qui a succédé au SAT, a constaté que les constructions avaient été réalisées en non-conformité des dossiers d'enquête publique. Après avoir recueilli les déterminations de A._ et B._, le SDT a ordonné par décision du 13 août 2010 des mesures portant sur la suppression de toutes les interventions non autorisées dans les permis de construire des 4 août 2000, 17 novembre 2000 et 15 septembre 2006. A._ et B._ ont interjeté recours devant la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal), lequel a procédé à une vision locale en présence des parties et des représentants du SDT et du SIPAL. Par arrêt du 27 octobre 2011, le Tribunal cantonal a partiellement admis le recours en ce sens qu'il a annulé l'ordre de remise en état concernant le balcon ouest; il a confirmé pour le surplus la décision du 13 août 2010 du SDT. Les juges cantonaux ont notamment constaté que tant le potentiel d'agrandissement dans le volume que le potentiel d'agrandissement hors volume avaient été largement dépassés par les travaux effectués par A._ et B._. D. Agissant par la voie du recours en matière de droit public, A._ et B._ demandent principalement au Tribunal fédéral d'annuler l'arrêt du Tribunal cantonal du 27 octobre 2011 et de renvoyer la cause pour nouvelle décision dans le sens des considérants. Ils concluent subsidiairement à l'annulation de la décision du SDT du 13 août 2010. Le Tribunal cantonal ainsi que le SDT et le SIPAL concluent au rejet du recours. La municipalité de Blonay renonce à déposer une réponse. Invité à se déterminer, l'Office fédéral du développement territorial insiste sur l'importance du rétablissement de l'état d'origine. Les recourants ont répliqué, persistant dans leur précédente argumentation. 