Sachverhalt: Mit Verfügung vom 23. Mai 2006 stellte die Kantonale Arbeitslosenkasse St. Gallen fest, S._ (geb. 1952) habe für den Monat März 2006 wegen eines zu hohen Zwischenverdienstes keinen Anspruch auf Arbeitslosenentschädigung. Daran hielt sie mit Einspracheentscheid vom 19. Juni 2006 fest. Die dagegen erhobene Beschwerde, mit welcher S._ sowohl für den März als auch für den Mai 2006 Differenzzahlungen zum Zwischenverdienst verlangte, wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 31. August 2006 ab. S._ führt Verwaltungsgerichtsbeschwerde mit dem Antrag, es seien ihm für die Monate März, Mai und August 2006 Differenzzahlungen zum Zwischenverdienst auszurichten. Die Arbeitslosenkasse und das Staatssekretariat für Wirtschaft (seco) verzichten auf eine Vernehmlassung. 