Sachverhalt: A. A.a Auf Begehren von Y._ erliess der Einzelrichter am Kreisgericht St. Gallen gestützt auf Art. 271 Abs. 1 Ziff. 1 und 6 SchKG am 13. Januar 2011 einen Arrestbefehl (Nr. 1) gegenüber A._ für eine Forderung von Fr. 275'850.-- nebst (näher bezeichneten) Zinsen. Als Arrestgegenstände wurden genannt: "Sämtliche Vermögenswerte bei der Bank B._ AG, lautend auf den Schuldner [A._] und/oder auf die C._ Asset Management, d.h. insbesondere auf Konto Nr. 2 und allfällig weitere Konten, Depots und Guthaben." Der Arrest wurde am 13. Januar 2011 vom Betreibungsamt der Stadt St. Gallen vollzogen (Arresturkunde vom 17. Januar 2011). Die von der C._ Asset Management LPP erhobene Arresteinsprache blieb ohne Erfolg, und Y._ (Arrestgläubiger) prosequierte den Arrest durch Anhebung der Betreibung Nr. 5. A.b In der von X._ gegen die C._ Vermögensverwaltung LPP angehobenen Betreibung Nr. 3 (auf Arrestprosequierung) vollzog das Betreibungsamt am 5. August 2011 die Pfändung Nr. 4. Dabei wurde das Folgende gepfändet: "Guthaben auf drei (bezeichneten) Konten und in einem (bezeichneten) Depot, lautend auf die Schuldnerin C._ Vermögensverwaltung LPP bei der Bank B._ AG." In der Pfändungsurkunde vom 7. September 2011 merkte das Betreibungsamt gestützt auf Art. 281 SchKG die provisorische Teilnahme des Arrestgläubigers Y._ an der Pfändung an und wies darauf hin, dass auf die gepfändeten Vermögenswerte bereits Arrest gelegt worden sei. A.c Gegen die Pfändungsurkunde erhob X._ am 20. September 2011 betreibungsrechtliche Beschwerde und verlangte (im Hauptantrag) die Aufhebung des provisorischen Anschlusses zu Gunsten von Y._ an der Pfändung Nr. 4; zudem beantragte er die "Auszahlung der gepfändeten Vermögenswerte". Mit Entscheid vom 11. November 2011 hiess der Einzelrichter am Kreisgericht St. Gallen als untere Aufsichtsbehörde für das Betreibungswesen die Beschwerde gut und hob den Teilnahmevormerk für die Betreibung Nr. 5 (des Arrestgläubigers Y._) an der Pfändung Nr. 4 auf. Im Übrigen wurde die Beschwerde abgewiesen. B. Hiergegen gelangte Y._ am 24. November 2011 an das Kantonsgericht St. Gallen als obere kantonale Aufsichtsbehörde für Schuldbetreibung. Mit Entscheid vom 1. März 2012 hiess die obere Aufsichtsbehörde die Beschwerde gut und hob den erstinstanzlichen Entscheid auf, so dass im Ergebnis der Pfändungsanschluss bestätigt wurde. C. X._ hat am 16. März 2012 Beschwerde in Zivilsachen erhoben. Der Beschwerdeführer verlangt (im Hauptantrag), es seien der Entscheid der oberen kantonalen Aufsichtsbehörde vom 1. März 2012 sowie der Teilnahmevormerk/provisorische Anschluss der Betreibung Nr. 5 des Arrestgläubigers Y._ (Beschwerdegegner) an der Pfändung Nr. 4 aufzuheben. Eventualiter sei die Sache an die Vorinstanz zu neuer Entscheidung zurückzuweisen. Im Subeventualantrag verlangt er seinerseits die Teilnahme für weitere Forderungen gegen A._ an der Pfändung Nr. 4. Es sind keine Vernehmlassungen eingeholt worden. 