Sachverhalt: A. X._ (Ehemann, geb. 1955) und Y._ (Ehefrau, geb. 1960) heirateten am 26. August 1983. Aus der Ehe ging die gemeinsame Tochter A._ (geb. 1991) hervor. Im September 1999 bzw. August 2001 bewilligte das Bezirksgericht Muri den Ehegatten auf Antrag von Y._ das Getrenntleben und traf die entsprechenden Regelungen. Am 3. Dezember 2007 machte die Ehefrau die Klage auf Scheidung beim Kantonsgericht Zug anhängig. Mit Urteil vom 26. Januar 2011 des Kantonsgerichts Zug wurde die Ehe geschieden und wurden die Nebenfolgen geregelt. Dabei wurde u.a. Y._ verpflichtet, X._ in Abgeltung seiner güterrechtlichen Ansprüche den Betrag von Fr. 32'266.40 zu bezahlen. Zur Ermittlung der güterrechtlichen Ansprüche rechnete das Kantonsgericht der Errungenschaft von X._ den Betrag von Fr. 116'000.-- hinzu, den er an B._ geleistet hatte. B._ ist die Mutter von C._ (geb. 2000), den X._ am 5. April 2005 als sein Kind anerkannte. B. Gegen das Urteil gelangte X._ mit Berufung an das Obergericht des Kantons Zug und verlangte u.a., dass Y._ ihm aus Güterrecht Fr. 92'292.40 zu bezahlen habe. Zur Begründung führte er an, dass bei seiner Errungenschaft zu Unrecht der Betrag von Fr. 116'000.-- als "unentgeltliche Zuwendung" (im Sinne von Art. 208 Abs. 1 Ziff. 1 ZGB) hinzugerechnet worden sei. Das Obergericht hiess die Berufung mit Urteil vom 28. Februar 2012 teilweise gut und verpflichtete Y._, X._ in Abgeltung güterrechtlicher Ansprüche den Betrag von Fr. 34'292.40 zu bezahlen. Im Übrigen wurde das erstinstanzliche Urteil (mit der erwähnten Hinzurechnung) bestätigt. C. Mit Eingabe vom 22. März 2012 hat X._ Beschwerde in Zivilsachen erhoben. Der Beschwerdeführer verlangt die Aufhebung des Urteils des Obergerichts des Kantons Zug vom 28. Februar 2012 und die Rückweisung der Sache an die Vorinstanz zur neuen Entscheidung. Y._ (Beschwerdegegnerin) beantragt die Abweisung der Beschwerde. Das Obergericht schliesst ohne weitere Gegenbemerkungen auf Abweisung der Beschwerde. 