Da Robert døde i 1085, blev han efterfulgt af sin søn Roger Borsa, og da dennes søn Vilhelm døde i 1127, gik hertugtitlen til den sicilianske gren af Hauteville-slægten, i form af grev Rogers søn Roger 2., der på den måde kom til at regere over hele Syditalien.