Sachverhalt: A. Das Obergericht des Kantons Zug sprach X._ am 14. März 2012 zweitinstanzlich in teilweiser Gutheissung der Berufung der Staatsanwaltschaft und Abweisung der Berufung des Beschuldigten der mehrfachen sexuellen Handlungen mit Kindern und der mehrfachen Schändung schuldig. Im Übrigen stellte es die Rechtskraft des Urteils des Strafgerichts des Kantons Zug vom 23. November 2011 fest (Freispruch vom Vorwurf der mehrfachen ungetreuen Geschäftsbesorgung, Schuldsprüche wegen mehrfacher Veruntreuung, mehrfacher Urkundenfälschung und mehrfacher Pornographie, Einziehung, Zivilpunkt). Es bestrafte X._ mit einer Freiheitsstrafe von 40 Monaten unter Anrechnung der Untersuchungshaft von 122 Tagen. Zudem ordnete es wie bereits das Strafgericht eine ambulante Massnahme an. Den Vollzug der Strafe schob es nicht auf. Der Verurteilung wegen mehrfacher sexueller Handlungen mit Kindern und mehrfacher Schändung liegt folgender Sachverhalt zugrunde: X._ nahm im Jahr 1995 von April bis Dezember mehrmals sexuelle Handlungen an und mit seiner am 7. Februar 1995 geborenen Tochter A._ vor. Unter anderem rieb er die Vagina des Babies mit den Fingern, leckte dessen Vagina, masturbierte mit dem Glied zwischen dessen Beinen oder unter gleichzeitigem Pressen des erigierten Glieds gegen dessen Schambereich bis zur Ejakulation auf dessen Vagina, spreizte ihm die Schamlippen und penetrierte es anal mit einem ca. 2 mm breiten und 4 mm hohen Kabel und dem kleinen Finger. X._ hielt die Übergriffe auf Video fest. Die Straftaten kamen ans Licht, als im Jahr 2005 aufgrund einer Strafanzeige des damaligen Arbeitgebers von X._ u.a. wegen mehrfacher Urkundenfälschung und mehrfacher Veruntreuung eine Hausdurchsuchung durchgeführt und dabei diverses Material (kinder-)pornographischen Inhalts gefunden wurde. B. X._ erhebt Beschwerde in Strafsachen. Er beantragt, er sei mit einer Freiheitsstrafe von maximal 24 Monaten (unter Anrechnung der Untersuchungshaft) zu bestrafen, wobei ihm der bedingte Strafvollzug zu gewähren sei, mit der Weisung, die bereits begonnene Therapie weiter zu führen, eventuell eine vom Gericht angeordnete Therapie zu besuchen. Die Probezeit sei auf zwei Jahre festzusetzen. Für den Fall, dass das Gericht eine ambulante Massnahme als notwendig erachte, sei eine unbedingte Freiheitsstrafe auszusprechen, wobei diese zugunsten der ambulanten Massnahme aufzuschieben sei. Falls das Bundesgericht keinen reformatorischen Entscheid fälle, sei das Urteil des Obergerichts vom 14. März 2012 aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. X._ ersucht zudem um unentgeltliche Rechtspflege. C. Das Obergericht des Kantons Zug verzichtet auf eine Stellungnahme zur Beschwerde. Die Staatsanwaltschaft des Kantons Zug hat sich nicht vernehmen lassen. 