Dywedodd Carwyn Jones y byddai'r penderfyniad "nid yn unig lleihau'r Unol Daleithiau yn llygaid y byd, ond y Gorllewin yn gyffredin".
"Mae'r effaith ar ddinasyddion sy'n cadw at y gyfraith yn y wlad hon ac ym mhob cwr o'r byd y tu hwnt i unrhyw amddiffyniad rhesymol," meddai.
Ychwanegodd y dylai pobl sy'n credu mewn helpu ffoaduriaid nawr wneud mwy "i ddangos bod help ar gael o hyd a'n bod ni'n dal i bryderu".
Fe wnaeth Mr Jones hefyd feirniadu'r Prif Weinidog Theresa May am ei hymateb i benderfyniad yr Arlywydd Trump i wahardd mynediad i bobl o Iran, Irac, Libya, Somalia, Sudan, Syria ac Yemen.
Dywedodd Ms May yn wreiddiol mai mater i'r Unol Daleithiau oedd eu polisi mewnfudo eu hunain, cyn rhyddhau datganiad yn dweud "nad ydyn ni'n cytuno gyda'r math yma o agwedd".
Dywedodd Mr Jones: "Os yw'r berthynas arbennig yn golygu unrhyw beth, mae'n rhaid iddi olygu dal y naill a'r llall i gyfrif.
"Nid yw tawelwch ac osgoi'n nodweddion mewn arweinyddiaeth."
Ychwanegodd Mr Jones y byddai'n codi'r mater gyda Ms May wrth iddyn nhw gyfarfod yfory ar gyfer y Cyd-bwyllgor Gweinidogion.
Dywedodd arweinydd Plaid Cymru, Leanne Wood bod y polisi yn "gyrru unigolion sydd eisoes wedi eu hynysu yn bellach i gyrion ein cymunedau".
"Mae hyn yn arwain at ddieithrio pellach gan danseilio diogelwch pawb," meddai.
Ychwanegodd: "Mae'r ymateb i gamau Trump wedi achosi dicter disgwyliedig ar draws y byd a dylid ei gondemnio yn ddiamod gan bawb."
Mae Prif Weinidog Cymru wedi beirniadu penderfyniad Arlywydd newydd yr Unol Daleithiau, Donald Trump i osod gwaharddiad 90 diwrnod ar bobl o saith gwlad rhag cael mynediad i'r wlad.