Han stammede fra en meget rig adelsfamilie, hans far var écuyer (væbner) Clément De Potter de Droogenwalle, som søgte asyl i Tyskland efter den anden franske invasion af de Østrigske Nederlande i 1794 og blev der indtil konsulatet blev etableret i Frankrig i 1799.