พระปรางค์สามยอด
เป็นปราสาทขอม 3 องค์ เชื่อมต่อกันด้วยมุขกระสัน (อันตรละ) โดยวางตัวในแนวเหนือ-ใต้ หันหน้าสู่ทิศตะวันออก ปราสาทประธานมีความสูงใหญ่กว่าอีก 2 องค์ โครงสร้างของปราสาททำจากศิลาแลงฉาบปูน มีการประดับประดาตามส่วนต่างๆ ของปราสาทด้วยปูนปั้น อันเป็นลักษณะของงานสถาปัตยกรรมในยุคของพระเจ้าชัยวรมันที่ 7 (ครองราชย์ พ.ศ. 1724 - ประมาณ 1757) ที่นิยมใช้ศิลาแลงเป็นวัสดุในการก่อสร้าง เช่น ปรางค์พรหมทัตที่ปราสาทพิมาย จังหวัดนครราชสีมา ซึ่งประดิษฐานพระรูปของพระเจ้าชัยวรมันที่ 7 ปราสาทวัดกำแพงแลง จังหวัดเพชรบุรี ที่สร้างเป็นปราสาทศิลาแลง 3 องค์เรียงกันในลักษณะเดียวกับพระปรางค์สามยอด และปรางค์องค์กลางของวัดพระพายหลวง จังหวัดสุโขทัย เป็นต้น
พระธาตุจอมเพชร
ในครั้งนั้นสมเด็จเจ้าพระยาบรมมหาศรีสุริยวงศ์ (ช่วง บุนนาค) เป็นแม่กองในการก่อสร้าง และเมื่อสำเร็จแล้วโปรดเกล้า" พระราชทานนามว่า "พระราชวังพระนครคีรี" ส่วนเขาลูกนี้ก็พระราชทานชื่อให้ใหม่ว่า "เขามหาสวรรค์" เขามหาสมณะหรือเขามหาสวรรค์นี้มีทั้งหมด 3 ยอด ยอดซึ่งเป็นที่ตั้งพระราชวังคือยอดทางทิศตะวันตกของเมืองเพชรบุรี ส่วนยอดกลางนั้นเป็นที่ตั้งของ พระธาตุจอมเพชร อีกยอดหนึ่งที่อยู่ทางด้านทิศตะวันออกของเมืองเพชรบุรี เป็นที่ตั้งของวัดพระแก้วน้อย 
"เขามหาสวรรค์" หรือ "เขาวัง" อันเป็นชื่อที่ชาวเมืองเพชรบุรีคุ้นเคยกันดีนั้น เดิมมีชื่อ "เขาคีรี" เมื่อมีผู้สร้างวัดขึ้นที่ไหล่เขาแห่งนี้ในสมัยกรุงศรีอยุธยา และตั้งชื่อวัดว่า "มหาสมณะ" จึงเรียกเขาลูกนี้ตามชื่อของวัดที่สร้างขึ้นใหม่ 