Seine Mutter war die Schwester des Papstes Sixtus IV., Girolamo war der Cousin des Papstes Julius II., Onkel des Kardinals Clemente Grosso Della Rovere O.F.M.Conv. und nannte sich auch Kardinal von Recanati.