Das Geburtsjahr von Robert ist nicht überliefert, aber er war fast so alt wie sein 1133 geborener Cousin Heinrich Plantagenet, der spätere König Heinrich II., der von etwa 1142 bis 1144 bei Rogers Vater aufwuchs.