كان والده الكولونيل جيمس ماديسون ووالدته إلينور روز من مالكي العبيد ومن الملاك الأثرياء لمزارع التبغ في مقاطعة أورانج بولاية فيرجينيا حيث أمضى معظم سنين طفولته وتربى على مبادئ الكنيسة الإنجليزية(الاسقفية البروتستانتية) وعاش حياة زراعية بفضل جده الأكبر جيمس ماديسون الذي استفاد من نظام تقسيم الأراضي بفيرجينيا والذي سمح له بجلب العبيد للعمل في أرضه مما ساعده على تجميع مساحات كبيرة من الأراضي، فكان كأسلافه مالكا للعبيد.