If someone who doesn't know your background says that you sound like a native speaker, it means they probably noticed something about your speaking that made them realize you weren't a native speaker. In other words, you don't really sound like a native speaker.
Wenn jemand, der nicht weiß, woher man kommt, sagt, man erwecke doch den Eindruck, Muttersprachler zu sein, so hat man Grund zu der Annahme, dass ihm an der Sprache irgendetwas aufgefallen ist, woran er erkannt hat, dass man eben keiner ist – dass man diesen Eindruck mit anderen Worten eigentlich nicht erweckt.