ثم انتقل مالكوم إلى سجن ينورفولك الذي تميز بأنه مخفف في عقوباته يقع في الريف ويحاضر فيه بعض أساتذة الجامعة من هارفارد وبوسطن وبه مكتبة ضخمة تحوي عشرة آلاف مجلد قديم ونادر، وفيه زاره أخوه ويجالند الذي انضم إلى حركة أمة الإسلام هو الآخر.