Quận Jefferson nằm trên Bán đảo Olympic ở Tây Bắc bang Washington. Quận Jefferson nằm giữa các quận Admiralty Inlet và Clallam, Mason, Grays Harbour và Kitsap. Nó hướng ra Thái Bình Dương ở phía tây và kênh đào Hood ở phía đông. Được đặt theo tên của Tổng thống Thomas Jefferson, nó được tạo ra vào năm 1852 từ một phần của Quận Lewis. Quận lỵ là Port Townsend. Phần lớn quận là đất thuộc sở hữu công cộng.