Sachverhalt: A. Die serbische Staatsangehörige X._ (geb. 1967) kam 1982 im Rahmen des Familiennachzugs zu ihren Eltern in die Schweiz und verfügt über eine Niederlassungsbewilligung. 1988 heiratete sie im Heimatland einen Landsmann, der darauf zu ihr in die Schweiz zog. Aus dieser Ehe sind zwei Söhne, A._ (geb. 22. Juli 1989) sowie dessen ein Jahr jüngerer Bruder, hervorgegangen. 1992 oder 1993 kehrten die beiden Söhne in das damalige Serbien und Montenegro zurück. Am 31. August 1994 liess sich X._ vom Kindsvater scheiden, wobei ihr das Sorgerecht für die beiden Kinder zugeteilt wurde. Die Kinder blieben aber weiterhin im Heimatland, wo sie von der Urgrossmutter bzw. einer Tante mütterlicherseits betreut wurden. Von August 1997 bis September 1999 verbüsste X._ eine Gefängnisstrafe wegen Widerhandlungen gegen das Betäubungsmittelgesetz. Am 20. Februar 2004 heiratete sie ihren heutigen aus dem Kosovo stammenden Ehemann. B. Der Sohn A._ übersiedelte im Jahr 2005 (zusammen mit seinem Bruder) zum Vater nach Österreich. Am 15. März 2007 reiste er als Tourist in die Schweiz ein. X._ stellte für ihn am 14. Juli 2007 ein Familiennachzugsgesuch. C. Mit Verfügung vom 11. September 2008 lehnte das Departement des Innern des Kantons Solothurn, Abteilung Ausländerfragen, das Familiennachzugsgesuch ab und wies A._ aus der Schweiz weg. Die dagegen von X._ erhobene Beschwerde an das Verwaltungsgericht des Kantons Solothurn blieb ohne Erfolg. D. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 20. April 2009 beantragt X._, das Urteil des Verwaltungsgerichts des Kantons Solothurn vom 12. März 2009 aufzuheben und den Familiennachzug für A._ zu bewilligen. Zudem stellt sie das Begehren, der Beschwerde sei aufschiebende Wirkung zu erteilen. Das Bundesgericht hat die Akten der kantonalen Behörden beigezogen, jedoch keine Vernehmlassungen eingeholt. E. Mit Verfügung vom 23. April 2009 hat der Präsident der II. öffentlich-rechtlichen Abteilung der Beschwerde aufschiebende Wirkung zuerkannt. 