Sachverhalt: A. B._ war Präsident des Verwaltungsrates der Firma P._ AG welche der AHV-Ausgleichskasse des Schweizerischen Bäcker-Konditorenmeister-Verbandes, Panvica (Ausgleichskasse), als beitragspflichtige Arbeitgeberin angeschlossen war. Am ... März 2005 sprach das Bezirksgericht über die Firma P._ AG den Konkurs aus. Die Ausgleichskasse gab dem zuständigen Konkursamt zur Kollokation Fr. 393'654.25 an ausstehenden Sozialversicherungsbeiträgen an. Die Ausgleichskasse erliess am 31. August 2005 eine Verfügung gegen B._, mit welcher sie Ersatz für entgangene Sozialversicherungsbeiträge von Fr. 393'654.25 an voraussichtlich erlittenem Schaden verlangte. Die dagegen erhobene Einsprache hiess die Ausgleichskasse in dem Sinne teilweise gut, als sie den Schadenersatzbetrag auf Fr. 245'036.60 reduzierte (Einspracheentscheid vom 24. März 2006). B. Die hiegegen eingereichte Beschwerde des B._ hiess das Verwaltungsgericht des Kantons Graubünden nach einer Sistierung wegen eines strafrechtlichen Verfahrens am 31. Januar 2011 unter Aufhebung des Einspracheentscheides vom 24. März 2006 gut. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten stellt das Bundesamt für Sozialversicherungen (BSV) den Antrag, die Beschwerde sei gutzuheissen und der angefochtene Entschied des Verwaltungsgerichts des Kantons Graubünden sei aufzuheben. Die Vorinstanz beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. B._ schliesst auf Beschwerdeabweisung, währenddem die Ausgleichskasse die Beschwerde des BSV unterstützt, indes keine Anträge stellt. 