If someone who doesn't know your background says that you sound like a native speaker, it means they probably noticed something about your speaking that made them realize you weren't a native speaker. In other words, you don't really sound like a native speaker.
אם מישהו שלא מכיר את הרקע שלך אומר שאתה נשמע כמו דובר ילידי, פירושו של דבר שהוא מן הסתם הבחין במשהו בדיבורך שגרם לו להבין שאתה לא דובר ילידי. במילים אחרות, אתה לא באמת נשמע כמו דובר ילידי.