Hans forældre var skræddermester Friederich Wilhelm Xylander (1801 i Mitau - 1875 i København) og og Johanne Katharine Morgenstern (1812-1870), en søster til maleren Christian Morgenstern. I sit 14 år kom han i malerlære og blev svend 1856, besøgte derefter Kunstakademiets ornamentsklasser 1858-59, men forlod om foråret 1859 København og rejste til Hamborg, hvor han arbejdede i sit håndværk. I 1861 tog han til München, hvor hans morbroder, maleren Morgenstern, der selv havde levet og udstillet i København, var bosat. Samtidig med at han virkede som dekorationsmaler, søgte han her kunstnerisk uddannelse hos morbroderen, men vendte dog i 1862 tilbage til Dan­mark, udstillede i 1863 og 1864 et par landskaber, ægtede den 5. april 1865, trods sine mørke udsigter, Emma Sophie Andersen (21. januar 1836 i København - 31. maj 1914 på Frederiksberg), datter af skræddermester Hans Andersen (1796-1878) og Helene Margrethe Høyer (1796-1880), og rejste atter udenlands.  Virke Under hård kamp for tilværelsen levede han først i London, til han i februar 1868 rejste til München, hvor morbroderen imidlertid var død. Det lykkedes ham dog at sælge et måneskinsbillede fra Landskrona til kunstforeningen i München, og han vandt nu efterhånden navn i Tyskland, støttet af professor Eduard Schleich, der var ham en trofast rådgiver. Han malede dels måneskinsstykker, dels sømalerier, hvortil han gjorde studier ved Nordsøen eller i Danmark. I 1873 fik han en medalje på verdensudstillingen i Wien, 1876 på verdensudstillingen i Philadelphia, i 1885 flyttede han til Hamborg og endelig i 1891 bosatte han sig i København. Skibe ud for Dragør tilhører museet i St. Louis og Strand ved Nordsøen, Kunsthalle i Hamborg. Xylander var stærkt optaget af kunst og har, foruden at testamentere guldaldermalerier til Statens Museum for Kunst, stiftet et uddannelseslegat.  Han er begravet på Bispebjerg Kirkegård.