1952 yılından sonra Sariyer’e transfer olan Ayhan, burada 1964 yılına kadar sağ bek defans pozisyonunda oynamıştır. Aşağıdaki fotoğraf, 13.11.1960 tarihinde oynanmış olan Taksim- Sariyer maçındandır. Burada Ayhan’ı Sarıyer formasıyla ve hemen yanında Taksimsporlu Rıza’yı görüyoruz. Bu maç 2-0 Sarıyer’in üstünlüğüyle sonuçlanmıştır
1964 yılında, maçta oynamamasına ragmen, bir yanlışlık sonucu 6 ay ceza almıştır. Bu yıldan sonra futbol oynamayı bırakan Erman, kariyerine teknik direktör olarak devam etmiştir. Ilk çalıştırdığı takım olan Sarıyer'i 13 yıl çalıştırmıştır. En büyük hayali, Sariyer’i İstanbul’ın dördüncü büyük kulübü yapmak olan Erman bu süre zarfında gönüllü olarak, para almadan çalışmıştır.