Em 1984, apesar da sua débil saúde, Yassin, professor de árabe e religião, foi condenado a 13 anos de prisão, porque na mesquita onde pregava os israelitas encontraram uma caixa de 60 espingardas. Foi libertado no ano seguinte, numa troca de prisioneiros organizada pelo líder palestiniano Ahmed Jibril. Como os israelitas exigiram que ele deixasse de ser presidente do tradicional Congresso Islâmico, Yassin limitou-se a dirigir o obscuro movimento «cultural» Irmãos Muçulmanos, «filial» de Gaza da egípcia Irmandade Muçulmana.