Sachverhalt: Sachverhalt: A. M._ ist seit 1. Januar 2001 als Finanzplaner für die im Land Q._ ansässige X._ AG tätig. Am 24./26. Februar 2003 meldete er sich bei der Ausgleichskasse Luzern als Arbeitnehmer ohne beitragspflichtigen Arbeitgeber an. Die Ausgleichskasse erliess daraufhin am 27. Februar 2003 Beitragsverfügungen für die Jahre 2001, 2002 und 2003. Am 28. Februar 2003 verneinte die Familienausgleichskasse des Kantons Luzern ihrerseits verfügungsweise einen Anspruch auf Familienzulagen. Mit Schreiben vom 24. März 2003 erklärte M._, er erhebe gegen die vier erwähnten Verfügungen vorsorglich Einsprache. Die Ausgleichskasse wies ihn am 28. März 2003 darauf hin, dass seine Eingabe die Anforderungen an eine rechtsgültige Einsprache nicht erfülle, und räumte eine Frist von 10 Tagen zur Verbesserung ein, welche in der Folge verlängert wurde. Am 12. Mai 2003 liess M._ erklären, er wende sich nicht gegen die Beitragsverfügung als solche, sondern gegen die Tatsache, dass er beitragsmässig als Selbstständigerwerbender betrachtet werde, aber trotzdem keinen Anspruch auf Kinderzulagen habe. Er beantrage daher präzisierend, dass die Abweisungsverfügung betreffend Familienzulagen vom 28. Februar 2003 aufzuheben sei und ihm rückwirkend ab dem Jahr 2001 Kinderzulagen auszurichten seien. Mit Entscheid vom 23. Mai 2003 schrieb die Ausgleichskasse die Einsprache gegen die Beitragsverfügungen vom 27. Februar 2003 infolge Rückzugs ab. Mit Entscheid vom 23. Mai 2003 schrieb die Ausgleichskasse die Einsprache gegen die Beitragsverfügungen vom 27. Februar 2003 infolge Rückzugs ab. B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Luzern ab (Entscheid vom 19. April 2004). B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Luzern ab (Entscheid vom 19. April 2004). C. Mit Verwaltungsgerichtsbeschwerde beantragt M._ unter anderem die Aufhebung des kantonalen Entscheids und des Einspracheentscheids. Auf Rückfrage des Eidgenössischen Versicherungsgerichts erklärte er in Präzisierung der Beschwerdeschrift, der darin erwähnte Anspruch auf Familienzulagen sei mittels separater staatsrechtlicher Beschwerde beim schweizerischen Bundesgericht in Lausanne geltend gemacht worden. Das Verwaltungsgericht des Kantons Luzern hat auf eine Vernehmlassung verzichtet. 