Tổ phụ (ông nội) của Lê Văn Duyệt là Lê Văn Hiếu từ làng Bồ Đề (nay thuộc H.Mộ Đức, tỉnh Quảng Ngãi) vào Nam sinh cơ lập nghiệp. Sau khi Lê Văn Hiếu qua đời, người con là Lê Văn Toại rời vùng Trà Lọt đến ngụ tại vùng Rạch Gầm, làng Long Hưng, H.Kiến Hưng, tỉnh Định Tường, về sau gọi là xã Long Hưng thuộc H.Châu Thành, tỉnh Mỹ Tho (nay là tỉnh Tiền Giang). Lê Văn Toại có tất cả 4 người con trai, là con trưởng. Ông sinh 1763 tại vàm Trà Lọt, thuộc làng Hòa Khánh, H.Kiến Phong, tỉnh Định Tường (về sau gọi là xã Hòa Khánh, H.Cái Bè, tỉnh Mỹ Tho). Lê Văn Duyệt theo phò Nguyễn Ánh và trở thành một khai quốc công thần của triều Nguyễn, được phong chức Khâm sai Chưởng tả quân dinh, Bình Tây tướng quân, tước Quận công. Tuy nhiên, những đóng góp tích cực của ông là ở sự phát triển của đất nước, đặc biệt là vùng đất phương nam, gắn liền với thời gian 2 lần giữ chức Tổng trấn thành Gia Định (1813 - 1816; 1820 - 1832). Ông là người có nhiều mối liên hệ với Trường Lũy, Sơn phòng và người dân tộc thiểu số sống ở miền tây các tỉnh Quảng Nam, Quảng Ngãi, Bình Định, đặc biệt là vùng núi Đá Vách (Thạch Bích, phía tây Quảng Ngãi) và người Hrê. Một đoạn thành đắp bằng đá nằm trên địa phận xã Hành Dũng, H.Nghĩa Hành, Quảng Ngãi L.H.K Các năm 1803 (tháng 3 âm lịch), 1808, Lê Văn Duyệt nhận lệnh triều đình làm nhiệm vụ ổn định vùng núi Đá Vách. Đặc biệt, năm 1808, khi biết được Phó quản cơ Lê Quốc Huy vì nhiễu hại quá nên người Thượng sinh biến, ông xin lệnh chém chết viên quan này, từ đó vùng núi Quảng Ngãi được yên trong một thời gian. Cuối năm 1810, quân Đá Vách lại tràn xuống đánh bảo Giang Ngạn, giết chết viên Thủ ngự rồi kéo đến đánh phá thôn Bồ Đề, quê hương của Lê Văn Duyệt. Năm 1812, Lê Văn Duyệt xin triều đình cho lấy các xã ven núi đặt làm 27 xóm, chọn người đứng đầu, lại điều quân thuộc 6 cơ ở Quảng Ngãi đóng chặn. Năm 1816, Lê Văn Duyệt lại mang quân đến Đá Vách, sau khi Trấn thủ Phan Tấn Hoàng bị người Thượng đánh bại. Đến năm 1819, thuận theo lời tâu của Lê Văn Duyệt, nhà vua cho xây Trường Lũy (Tĩnh Man ) kéo dài từ H.Trà Bồng (Quảng Ngãi) đến H.An Lão (Bình Định) để phòng ngự. Đại Nam thực lục chính biên do Quốc sử quán triều Nguyễn biên soạn, chép về sự kiện này như sau: “Năm Gia Long thứ 18 (1819), bắt đầu đắp lũy dài ở đạo Bình Man thuộc Quảng Ngãi. Lính sáu kiên đóng thú thì cấp lương tháng. Ngoài lũy trồng tre, dưới ngăn bằng hào, phía bắc đến Già Tiển, giáp phủ Thăng Bình, dinh Quảng Nam; phía nam đến Đồng Xanh, giáp phủ Hoài Nhân, trấn Bình Định. Địa giới dài 37.479 trượng…” ( ; , đệ nhất kỷ, quyển LIX; NXB , 2001, tr.987). Các sách được biên soạn về sau như (in năm 1898 triều Thành Thái) của Tĩnh Man Tiễu phủ sứ Nguyễn Tấn; của Tổng tài Quốc sử quán Cao Xuân Dục, hoàn thành năm 1900; (do Tuần vũ Quảng Ngãi Nguyễn Bá Trác chủ trương và dâng sách lên vua Bảo Đại năm 1933), đều chép tương tự. Việc xây dựng Trường Lũy (và trước đó là ) là kế sách của nhà nước phong kiến Việt Nam trong cuộc đối đầu với các nhóm sắc tộc ở miền Thượng. Lê Văn Duyệt chính là người đề xuất chủ trương và trực tiếp chỉ đạo, tổ chức việc xây dựng công trình mang tính - phòng thủ này, với nhân lực chủ yếu là biền binh và lân binh. Các sự kiện quan trọng về Trường Lũy cũng như hành trạng của các văn quan, võ tướng có liên quan được ghi chép khá cụ thể và cơ bản đầy đủ qua các bộ chính sử cùng nhiều sách vở, tài liệu đương thời và về sau. Điều này bác bỏ ý kiến gần đây của một vài học giả trong và ngoài nước cho rằng Trường Lũy là công trình do người Kinh và người Thượng phối hợp xây dựng và rằng hầu như sử sách Việt Nam đương thời không ghi chép về Trường Lũy (hoặc chỉ ghi chép rất lâu về sau) là rất chủ quan, hời hợt và xa sự thực (Andrew Hardy và nhiều người khác; ; báo cáo khoa học trình bày tại Hội thảo về Trường Lũy tổ chức tại Hà Nội vào tháng 12.2019). Nhà truyền giáo người Pháp E.M.Durand, vào năm 1900 khi nhìn thấy một con đường chạy cùng với Trường Lũy, đã rất ngạc nhiên và viết: “(...) vắt lên những ngọn núi dựng đứng nơi biên giới, không có bất kỳ tính toán gì về con đường chiến lược, một bờ lũy bằng đất vừa bao la vừa vô ích” (E.M.Durand; , 284 - 322). Nhà truyền giáo rõ là đã nhầm. Cái nhầm này có thể hiểu được và thông cảm vì đó là của một người nước ngoài, từ xa đến và quá thiếu hiểu biết về lịch sử vùng cao Quảng Ngãi. Thế nhưng, hơn một thế kỷ sau mà có người vẫn cho rằng việc xây dựng Trường Lũy là thiếu hoặc không có chiến lược và vô ích, quả là một sai lầm rất đáng trách và e là không hề vô tư.
Trong số các nhân vật lịch sử có liên quan Trường Lũy, Lê Văn Duyệt là người đóng vai trò quan trọng bậc nhất, vì chính ông là người đề xuất, sau đó phụng mệnh vua Gia Long tổ chức công cuộc kiến lập Trường Lũy.