โรงเรียนสวนกุหลาบวิทยาลัย
หลังจากออกย้ายจากพระบรมมหาราชวัง โรงเรียนสวนกุหลาบก็ได้เคลื่อนย้ายไปยังศาลา 4 หลัง ของวัดมหาธาตุด้านทิศเหนือเรียกว่า โรงเรียนสวนกุหลาบวัดมหาธาตุด้านทิศเหนือ เพื่อรอการก่อสร้างโรงเรียนแห่งใหม่ ซึ่งในช่วงนี้มีโรงเรียนพระตำหนักสวนกุหลาบฝ่ายไทยอยู่ 2 ที่ ซึ่งอีกที่หนึ่งอยู่ที่โรงเรียนมหาดเล็กหลวงในพระบรมมหาราชวัง เรียกว่า โรงเรียนสวนกุหลาบไทยในโรงเรียนมหาดเล็กหลวง ซึ่งโรงเรียนนี้คาดว่าเกิดจากการเคลื่อนย้าย ไปยังวัดมหาธาตุนั้นเคลื่อนย้ายไปไม่หมด ต่อมากระทรวงธรรมการได้งบประมาณในการสร้างที่ว่าการกระทรวงใหม่ และกระทรวงต้องการให้โรงเรียนพระตำหนักสวนกุหลาบเป็นโรงเรียนสำหรับฝึกหัดทดลองวิธีสอนและตำราเรียน จึงยกตึกหลังแรกใน 3 หลัง ให้เป็นโรงเรียนพระตำหนักสวนกุหลาบ เรียกว่า โรงเรียนสวนกุหลาบวังหน้า ซึ่งจริงๆ กระทรวงต้องการให้โรงเรียนพระตำหนักสวนกุหลาบทั้งฝ่ายไทยและฝ่ายอังกฤษมารวมกันที่นี่ แต่สถานที่คับแคบไป จึงนำมาเฉพาะโรงเรียนพระตำหนักสวนกุหลาบฝ่ายไทยเพียงฝ่ายเดียว ต่อมาในปี พ.ศ. 2452 กระทรวงธรรมการ ได้ย้ายสถานที่ใหม่ ดังนั้นโรงเรียนสวนกุหลาบจึงต้องย้ายด้วย ซึ่งได้ย้ายไปอาศัยอยู่ ณ บริเวณศาลาวัดมหาธาตุด้าน ใต้เป็นการชั่วคราว จนกระทั่งย้ายมาอยู่ที่โรงเลี้ยงเด็กริมคลองมหานาค (โรงเรียนสวนกุหลาบโรงเลี้ยงเด็กริมคลอง มหานาค) หลังจากโรงเรียนพระตำหนักสวนกุหลาบฝ่ายไทยได้ย้ายไปตามสถานที่ต่างๆ ถึง 5 แห่ง โรงเรียนสวนกุหลาบก็ได้กลับมารวมอีกครั้งที่ "ตึกแถวหลังยาววัดราชบูรณะ" โดยพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ทรงพระกรุณาโปรดเกล้าฯให้กรมโยธาธิการออกแบบ แล้วใช้งบประมาณของวัดราชบูรณะเพื่อเช่าสถานที่ และพระราชทานพระบรมราชานุญาตให้กำหนดเป็นโรงเรียนชั้นมัธยมศึกษาพิเศษ แล้วให้ชื่อว่า "โรงเรียนสวนกุหลาบวิทยาลัย" และการรวมตัวครั้งนี้เป็นการรวม "สวนกุหลาบ" ทั้งหมด ซึ่งรวมทั้งโรงเรียนพระตำหนักสวนกุหลาบฝ่ายอังกฤษด้วย
โรงเรียนสวนกุหลาบวิทยาลัย
ต่อมากรมพระยาดำรงราชานุภาพได้ดำรงตำแหน่งเป็นผู้บังคับการกรมทหารมหาดเล็ก ได้ทรงดำริที่จะจัดตั้งโรงเรียนขึ้นแห่งหนึ่ง เพื่อฝึกหัดหม่อมเจ้า และหม่อมราชวงศ์โดยเฉพาะ ให้เป็นทหารมหาดเล็ก ทั้งนี้เนื่องจากฐานะทหารมหาดเล็กได้เสื่อมไปไม่เหมือนแต่ก่อน ประกอบกับสมัยนั้นราชการกระทรวงต่างๆ เปลี่ยนแปลงแบบแผนเป็นอย่างใหม่ เป็นที่นิยมของคนหนุ่มๆขึ้นมาก ไม่เหมือนสมัยก่อนซึ่งมีเพียงทหารมหาดเล็กอย่างเดียว ดังนั้นกรมพระยาดำรงราชานุภาพจึงคิดว่าควรจะจัดตั้งโรงเรียนจะได้มีผู้สมัครเข้ามามาก กรมพระยาดำรงราชานุภาพจึงนำความเห็น ขึ้นกราบทูลพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว และได้รับความเห็นชอบด้วย พระองค์ดำรัสสั่งให้จัดตั้งโรงเรียน ตามที่คิดนั้น พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวรับจะทรงอุดหนุน ครั้นจะเลือกหาที่ตั้งโรงเรียนในโรงเรียน มหาดเล็กก็ไม่มีที่พอแก่การจัด จึงได้เลือก พระตำหนักสวนกุหลาบ ซึ่งตอนนั้นใช้เป็นคลังรุงรังรกอยู่ไม่เป็นประโยชน์นัก จึงกราบทูลฯขอ ก็ทรงพระกรุณาโปรดเกล้า พระราชทานพระบรมราชานุญาตให้จัดตั้งโรงเรียนขึ้นในที่นั้น อาศัย เหตุนั้นจึงได้เรียกชื่อว่า "โรงเรียนพระตำหนักสวนกุหลาบ" เมื่อ พ.ศ. 2425 เป็นต้น