Faits: A. Par jugement du 1er décembre 2010, le Tribunal de police de l'arrondissement de l'Est vaudois a reconnu X._ coupable d'infraction à la loi fédérale sur l'acquisition d'immeubles par des personnes domiciliées à l'étranger et l'a condamné à 60 jours-amende à 2'500 fr. le jour avec sursis pendant 2 ans ainsi qu'à une amende de 50'000 fr., la peine privative de liberté de substitution étant de 20 jours. B. Les faits à l'origine de cette condamnation sont en substance les suivants. B.a Par requête du 12 mars 2001, X._ a demandé à la commission foncière compétente l'autorisation d'acquérir une parcelle de la commune d'A._ pour y faire construire une villa familiale, dont il a joint les plans à sa requête. Cette demande a été rejetée par décision du 23 mars 2001 au motif que la surface nette habitable dépassait largement la surface maximale autorisée. Le 22 mai 2001, deux nouvelles requêtes portant sur la construction de la même parcelle ont été présentées à la commission foncière, l'une au nom de X._ et l'autre à celui de ses filles. Par décision du 27 juillet 2001, la commission foncière a octroyé les autorisations sollicitées en les assortissant de deux charges, savoir d'une part constituer la propriété par étages en deux lots de 56/100 respectivement 44/100 et d'autre part produire l'acte constitutif de propriété dans un certain délai. Le 18 octobre 2001, la commission foncière a approuvé de nouveaux plans, datés du 21 septembre précédent. Le 14 juin 2002, X._ et ses deux filles ont constitué une propriété par étages comportant deux lots, appartenant l'un aux filles, en copropriété, et l'autre au père, en pleine propriété, ainsi que des parties communes. Les plans déposés au registre foncier reflètent cette répartition. B.b L'architecte auteur des plans a expliqué qu'il avait pris l'initiative de laisser, au premier étage, une ouverture dans la structure en béton armé, afin de pouvoir créer un passage entre les deux lots, ce qui constituerait une plus-value en cas de vente de la maison. Il était toutefois évident pour lui que cette ouverture devait être murée avec des briques afin que soient respectés les plan approuvés par la commission foncière. C'est X._ qui a exigé la pose d'une porte reliant les deux lots ainsi que le déplacement de la porte d'entrée du lot 1. B.c Il est établi que X._ a suivi de près l'avancée des travaux. A une date qui n'a pas pu être déterminée, mais vraisemblablement à fin 2003, une ouverture et une porte ont été aménagées permettant de relier les deux lots. Dans le même temps, les accès ont été modifiés, de telle sorte que le lot 1 ne puisse plus être individualisé par rapport aux parties communes et que le lot 2 ne puisse atteindre celles-ci qu'en passant par le lot 1. Le juge de première instance a considéré que les modifications apportées à l'immeuble équivalaient à un retour à un agencement permettant de circuler librement à l'intérieur d'une villa familiale, comme c'était le cas selon les plans refusés par la commission foncière le 23 mars 2001. Il a estimé que les travaux effectués ne respectaient ni les plans inscrits au registre foncier ni la charge imposée par la commission foncière et que X._, sous les ordres duquel les travaux avaient été menés, avait intentionnellement violé la charge résultant de la décision de la commission foncière du 27 juillet 2001. C. Par arrêt du 6 avril 2011, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours formé par X._ contre le jugement du Tribunal de police, qu'elle a confirmé. D. X._ forme un recours en matière pénale contre cet arrêt. Il conclut, avec suite de frais et dépens, à son annulation et au renvoi de la cause à l'autorité compétente pour nouvelle instruction et nouveau jugement. Subsidiairement, il conclut à la réforme de l'arrêt attaqué en ce sens qu'il est libéré des chefs d'accusation retenus à son encontre. 