Oklahoma Joe's awalnya dimulai oleh Joe Davidson sebagai produsen perokok, kemudian satu dekade kemudian meluncurkan restoran barbekyunya. Oklahoma Joe pertama dibuka di Stillwater, Oklahoma, pada Januari 1996. Lokasi Kansas City menyusul kemudian pada tahun itu, terletak di dalam pompa bensin di sudut W 47th St dan Mission Rd di Kansas City, Kansas.