Sachverhalt: A. S._ (geboren 1952) ist seit Sommer 1990 bei der Stadt X._ als Lehrerin angestellt und in dieser Eigenschaft bei den Winterthur Versicherungen (nachfolgend: Winterthur) gegen die Folgen von Unfällen versichert. Am 16. April 2005 erlitt sie eine Humerusschaftfraktur rechts. Die Winterthur lehnte mit Verfügung vom 3. Februar 2006 jegliche Leistungen ab. Die Helsana Versicherungen AG, der Krankenversicherer von S._, erhob Einsprache, die die Winterthur mit Einspracheentscheid vom 12. April 2006 abwies. B. Die von der Helsana hiegegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 4. Dezember 2006 gut, hob die Verfügung vom 3. Februar 2006 und den Einspracheentscheid vom 12. April 2006 auf und verpflichtete die Winterthur, die gesetzlichen Leistungen aus dem Ereignis vom 16. April 2005 zu erbringen. C. Die Winterthur führt Verwaltungsgerichtsbeschwerde beim Eidgenössischen Versicherungsgericht (seit 1. Januar 2007: Bundesgericht) und beantragt die Aufhebung der Dispositivziffer 1 des Entscheids vom 4. Dezember 2006. Die Helsana schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Gesundheit verzichtet auf eine Vernehmlassung. 