Oprettelsen af orginisationen blev foretaget i New York i 1942 af europæiske flygtninge og Roger Nash Baldwin, grundlægger af American Civil Liberties Union, under navnet International League for the Rights of Man.