İç Kale: 150 m yükseklikte doğal bir yükselti üzerinde kurulmuştur. Planı düzgün olmayan bir yamuk şeklindedir. Giriş kapısı doğudadır. Dış kapıdan küçük avluya girilmekte ve buradan ikinci bir kapı ile kalenin asıl alanına girilmektedir. İç kaleyi çevreleyen duvarlar kısmen düzgün kesme taş ve moloz taşlardan inşa edilmiştir. Duvarların kalınlığı 1,5 mdir. İç kale, yarım daire planlı beş kuleye sahiptir. Yakın zamana kadar çok harap durumda olan kale surları, Kültür ve Turizm Bakanlığı’nca onarılmıştır. Kale duvarları, seyirdim yolu ile kısmen dendanlarla tamamlanmıştır.
Aşağı Kale : Zamanında iç kaleden kuzeydoğu ve kuzeybatı yönlerine doğru açılarak uzayan ve denize ulaşan surlarla çevriliydi. Bugün sadece batı surlarının bir bölümü ile bazı kule kalıntıları kalmıştır. A. Bryer ve D. Winfield tarafından batı surları üzerinde 9 kule ve 2 kapı yeri tespit edilmiştir. Aşağı kale surları düzgün yontu taşlı, bazı kısımlarda içten takviye kemerleri yer almakta olup, bu kemerler tuğla örgülüdür.
Kuleler dikdörtgen veya yuvarlak planlı olup iki katlıydı. Günümüze ulaşan kalıntılardan üst örtülerinin tuğla tonozlara sahip olduğu anlaşılmaktadır. Doğu surlarından hiç bir iz kalmamıştır. A. Bryer-D. Winfield planlarında surları tahmini göstermişlerdir. Büyük ihtimalle surlar vadinin doğu yamaçlarından geçerek kale camisini içine alıyordu. Tuzcuoğlu Konağı’nın batı yanında yapılan bir kazıda sur izlerine rastlanmıştır.
Rize Kalesi’nin tarihlendirilmesi için kesin verilere sahip değiliz. Aşağı Kale surlarının bazı bölümleri Alexios II. (1297-1330 ) zamanında yapılan Trabzon Kalesi’nin batı surları ile benzerlik gösterirler. İç Kale’den daha sonra şehrin önemli bir kısmının korunması için aşağı kale yapılmış olmalıdır. İç Kale, Justinyen zamanında (527-565) yeniden inşa edilmiştir. Daha sonra Trabzon Kommenosları zamanında da aşağı surlar inşa edilmiştir. Kale Osmanlı döneminde de onarımlar görmüş ve kullanılmıştır.