Sachverhalt: A. A._ (Jg. 1949) war ab 10. April 2001 bis 13. Mai 2002 teilzeitlich in der Firma Y._ AG als Raumpflegerin angestellt. Wegen Rückenschmerzen mit Ausstrahlungen in beide Beine musste sie diese Tätigkeit aufgeben. Weiter bestehen rechtsseitig Schmerzen im Schulterbereich und auch am rechten Arm. Zudem ist eine psychische Problematik in Form depressiver Verstimmungen aktenkundig. Am 3./11. November 2002 meldete sich A._ bei der Invalidenversicherung zum Rentenbezug an. Auf Grund ihrer Abklärungen medizinischer und erwerblicher Art lehnte die IV-Stelle des Kantons Zürich das Leistungsbegehren mit Verfügung vom 28. November 2003 mangels rentenrelevanter Invalidität (bei einem Invaliditätsgrad von 13 %) ab. Daran hielt sie nach Einholung weiterer medizinischer Berichte mit Einspracheentscheid vom 2. Juni 2006 (bei einem Invaliditätsgrad von nunmehr 36 %) fest. B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich, ausgehend von einem Invaliditätsgrad von 14 %, mit Entscheid vom 20. Dezember 2007 ab. C. A._ lässt mit Beschwerde die Zusprache einer halben Invalidenrente beantragen; eventuell sei die Sache zur Abklärung des Sachverhalts und zu neuer Beurteilung an die Vorinstanz zurückzuweisen. Zudem ersucht sie um unentgeltliche Rechtspflege. Den Antrag auf unentgeltliche Verbeiständung zieht sie am 11. April 2008 unter Hinweis auf die von ihrer Rechtsschutzversicherung unterdessen erklärte Zusicherung, die Anwaltskosten zu übernehmen, zurück. Den zur SichersteIlung der Gerichtskosten verlangten Kostenvorschuss bezahlt sie in der Folge. Die IV-Stelle schliesst unter Hinweis auf die Erwägungen im vorinstanzlichen Entscheid auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. 