Efter sigende kan navnet Ravnshøj føres tilbage til det 14. århundrede, hvor fuglen ravnen og højene i området formodes at være baggrund for navnet. Ravnshøj har tidligere heddet Ramishave i 1464, Rannys Howæ i 1467 og Raunsbøg i 1551.