Das Palais erbte ihre Tochter Sophie, die mit dem portugiesischen Adeligen Paolo Martins Visconde d'Almeida (1806–1874; in Bayern meist Graf d'Almeida genannt) verheiratet war, so dass das Gebäude später als Palais Almeida bezeichnet wurde.