Sachverhalt: A. Die 1951 geborene S._ musste sich am 22. Februar 2008 einer rechtsseitigen brusterhaltenden Tumorektomie mit Entfernung des Sentinel-Lymphknotens unterziehen. Im Oktober 2008 ersuchte sie die Invalidenversicherung um Kostenvergütung für die selbst angeschaffte Brust-Teilprothese. Mit Verfügung vom 12. März 2009 lehnte die IV-Stelle des Kantons Graubünden das Hilfsmittelgesuch für die definitive Brust-Exoprothese ab, weil keine Brustamputation durchgeführt worden sei. B. Das Verwaltungsgericht des Kantons Graubünden hiess die dagegen eingereichte Beschwerde mit Entscheid vom 2. Dezember 2009 gut und verpflichtete die IV-Stelle zur Kostenvergütung für die Brust-Teilprothese (einschliesslich Spezialbüstenhalter). C. Die IV-Stelle führt Beschwerde ans Bundesgericht mit dem Antrag auf Aufhebung des vorinstanzlichen Entscheids. Während S._ auf Abweisung der Beschwerde schliesst, soweit darauf einzutreten sei, verzichtet das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung. 