Hvilshøj er en lille landsby udviklet i tidlig tid, som en typisk langby  Byen er i dag præget af forfald idet det gamle mejeri og det store kornlager ikke er i brug. Der forefindes stadig et lille frysehus som man stadig ser det rundt omkring.  Kører man sydpå af Hvilshøjvej finder man en bro over Ryå. Lidt længere sydpå ved Hvilshøjvej ligger Kraghedesøen. Her kan der fiskes. For enden af denne vej finder man et gammelt vadested til vejen mod Ajstrup over Lindholm Å. Her krydser i dag yderligere den nyere vej mellem Tylstrup og Hjallerup. Godset Hvilshøjgård ligger i Øster Brønderslev Sogn.