Garis besar Smith County hampir berbentuk segi empat berada 30 mil utara dan selatan, dan 22 mil timur dan barat. Luasnya sekitar 660 mil persegi. Ini memiliki kabupaten berikut untuk batas: Scott di utara, Jasper di timur, Jones dan Covington di selatan, dan Simpson dan Rankin di barat.