Philipp Albrecht af Württemberg var dattersøn af Karl Ludvig af Østrig (far til ærkehertug Franz Ferdinand, der blev myrdet i 1914), oldesøn af Franz Karl af Østrig (forfader til de østrig-ungarske kejsere 1848–1918), Ferdinand 2. af Begge Sicilier, og tipoldesøn af titulær hertug Alexander af Württemberg (1771–1833), kong Ludvig-Filip af Frankrig (1773–1850), ærkehertug Karl af Østrig, hertug af Teschen (1771-1847), Ludvig 1. af Bayern (1786–1868), kejser Frans 2. af det tysk-romerske rige og af Østrig (1768–1835), kong Maximilian 1. Joseph af Bayern (1756–1825), Karoline af Baden (1776–1841), kong Frans 1. af Begge Sicilier (1777–1830),