Prifysgol Caerdydd yw'r unig un o'r wyth prifysgol yn y wlad sy'n gyflogwr cyflog byw.
Mae busnesau a sefydliadau yn medru cael y statws hwnnw drwy dalu isafswm cyflog o £8.45 yr awr - sy'n fwy na'r isafswm statudol.
Dywedodd y corff sy'n cynrychioli addysg uwch, Prifysgolion Cymru, bod nifer o sefydliadau "yn talu cyflogau sydd gyfystyr â'r Cyflog Byw gwirfoddol".
Mae Ms Williams hefyd yn galw am bwyll wrth bennu cyflogau uwch swyddogion y prifysgolion.
Ar hyn o bryd, mae is-ganghellor pob prifysgol yng Nghymru yn ennill dros £200,000 y flwyddyn.
"Dwi'n gobeithio bod prifysgolion yn ystyried rhoi cyflogau da i'w holl staff fel rhan o'u cenhadaeth ddinesig", meddai Ms Williams wrth raglen Sunday Politics BBC Cymru.
"'Dyn ni angen i'r prifysgolion hynny gydnabod cymaint o dda y maen nhw'n gallu ei wneud i'n cenedl ni, Cymru.
"Ie, addysgu pobl, ond hefyd defnyddio eu grym, adnoddau a chyfleusterau i gyfrannu tuag at y genedl gyfan, ac mae talu cyflog byw yn ffordd bwysig o wneud hynny."
Yn ei llythyr blynyddol at Gyngor Cyllido Addysg Uwch Cymru (CCAUC), mae Ms Williams yn galw am "welliant buan" ar gyflogau byw a mwy o bwyll o ran maint cyflogau'r rheiny sy'n ennill fwyaf.
Dywedodd llefarydd ar ran Prifysgolion Cymru: "Mae gan nifer o brifysgolion Cymru raddau cyflog sydd gyfystyr â'r Cyflog Byw gwirfoddol."
"Bydd cyrff llywodraethu yn teimlo ei bod hi'n bwysig iddyn nhw gadw'r hawl i wneud penderfyniadau am gynyddu costau cyflogau, ynghyd â'r buddion a'r amodau arbennig maen nhw'n eu darparu, sy'n golygu yn aml mai nhw yw'r cyflogwyr mwyaf deniadol yn eu hardal", meddai'r llefarydd.
Dangosodd adroddiad gan CCAUC y llynedd fod cyflogau uchaf prifysgolion Cymru yn "lled debyg" i weddill y DU.
Mewn datganiad, dywedodd y corff: "Rydyn ni wedi cadarnhau gyda [Ms Williams] y byddan ni'n gweithio gyda'r prifysgolion i geisio sicrhau'r gwelliant buan y mae hi eisiau ei weld yn y maes hwn."
Sunday Politics, BBC One Cymru, 2 Ebrill am 11:00.
Dylai prifysgolion yng Nghymru dalu cyflog byw i'w gweithwyr, yn ôl yr Ysgrifennydd Addysg Kirsty Williams.