If someone who doesn't know your background says that you sound like a native speaker, it means they probably noticed something about your speaking that made them realize you weren't a native speaker. In other words, you don't really sound like a native speaker.
Jeśli ktoś, kto nas nie zna, mówi, że mówimy jego językiem jak rodzimy użytkownik, oznacza to, że pewnie zauważył u nas coś, co uświadomiło mu, że tym użytkownikiem nie jesteśmy. Innymi słowy, że nie mówimy jak rodzimy użytkownik.