Faits: A. B._ est propriétaire de la parcelle n° 1158 du registre foncier de la commune de Bulle, dans le quartier de Jéricho. Cette parcelle de 2'000 mètres carrés, bâtie d'une villa et d'un garage, est classée en zone d'habitations individuelles H1 du plan d'aménagement local. A._ est propriétaire de la parcelle n° 1294 sise au nord-ouest, sur laquelle est érigée une villa de deux étages. Les deux biens-fonds sont séparés par la route de desserte du quartier. Le 1er septembre 1993, B._ a requis l'autorisation d'aménager une terrasse couverte dans le prolongement du garage; en date des 17 novembre 1993 et 12 janvier 1994, il a déposé trois demandes de permis de construire visant à régulariser des travaux réalisés au début des années 1970 relatifs à la démolition partielle et à la reconstruction d'un mur à l'angle nord-est de sa propriété, à la construction de murs de jardin à l'angle nord-ouest de son fonds et à l'aménagement d'un bûcher dans l'angle nord-ouest des murs. Par décisions des 19 et 20 décembre 1994, le Préfet du district de la Gruyère a rejeté les oppositions formées par A._ et délivré les permis de construire sollicités. Ce dernier a recouru en date du 28 janvier 1995 contre ces décisions auprès de la IIe Cour administrative du Tribunal administratif du canton de Fribourg, devenu par la suite le Tribunal cantonal (ci-après: le Tribunal cantonal ou la cour cantonale). Statuant le 4 mai 1995, cette autorité a déclaré le recours irrecevable pour défaut de légitimation suffisante en tant qu'il était dirigé contre les permis de construire les murs de jardin et le bûcher. Il l'a rejeté dans la mesure où il visait le permis accordé afin de régulariser la démolition partielle et la reconstruction du mur à l'angle nord-est de la propriété de B._. Il a en revanche annulé le permis de construire relatif à la construction d'une terrasse couverte en raison des lacunes qui entachaient les plans d'enquête et invité le requérant à présenter une nouvelle demande d'autorisation de construire. B. Le 20 octobre 1998, B._ a déposé une requête de permis de construire une terrasse couverte sur sa parcelle, qui a été mise à l'enquête publique du 6 au 29 novembre 1998. Dans sa séance du 15 décembre 1998, le Conseil communal de la Ville de Bulle a écarté l'opposition déposée par A._ contre ce projet et accordé le permis de construire sollicité. Sur recours de l'intéressé, le Préfet du district de la Gruyère a annulé cette décision le 27 avril 1999 et transmis le dossier à la commune pour qu'elle le traite selon la procédure ordinaire. Le 6 mai 1999, celle-ci a transmis la demande à l'Office cantonal des constructions et de l'aménagement du territoire (ci-après: l'OCAT) avec son préavis favorable. Les services de l'Etat concernés par le projet ont donné un préavis favorable, l'office précité avec réserves. A la requête du préfet, B._ a produit de nouveaux plans de situation ainsi qu'une convention de dérogation datée du 31 août 1999 et signée des propriétaires de la parcelle n° 1156, voisine au nord-ouest, l'autorisant à construire à une distance illégale de la limite de propriété. Le 13 septembre 1999, le Conseil communal de la Ville de Bulle a communiqué ces documents à l'OCAT avec son préavis favorable. Par décision du 31 janvier 2000, le Préfet du district de la Gruyère a écarté l'opposition formée par A._ et délivré le permis de construire sollicité en exigeant du requérant qu'il complète le plan de situation en y faisant figurer la pergola aménagée entre le bûcher et la terrasse couverte. A._ a recouru le 7 mars 2000 contre cette décision auprès du Tribunal cantonal. B._ a annoncé au préfet son intention de modifier le projet en remplaçant le toit à deux pans qui recouvre la terrasse par un toit à un pan et en aménageant un jacuzzi à l'intérieur de celle-ci. Par décision du 10 juillet 2000, le Préfet du district de la Gruyère a autorisé le requérant à exécuter les travaux selon les nouveaux plans datés du 4 juillet 2000, après avoir constaté que les modifications apportées au projet initial étaient de faible importance et n'aggravaient pas l'impact pour le voisinage. A._ a recouru le 24 août 2000 contre cette décision auprès du Tribunal cantonal. Il a complété son argumentation en date du 15 octobre 2007. Le Tribunal cantonal a rejeté les recours dont il était saisi au terme d'un arrêt rendu le 14 janvier 2009. Il a constaté que le bûcher, le mur d'enceinte entourant la propriété de B._ et le mur d'angle au nord-est étaient au bénéfice d'autorisations entrées en force, que la couverture de la terrasse qui s'appuie sur une partie de ces ouvrages respectait les dispositions légales en matière de police des constructions, que le projet litigieux avait obtenu l'accord des propriétaires voisins intéressés, que les défauts relevés lors de la mise à l'enquête publique avaient été corrigés et que les modifications apportées au projet initial ne nécessitaient pas une nouvelle procédure de mise à l'enquête. C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler cet arrêt ainsi que les permis de construire délivrés par la Commune de Bulle le 16 décembre 1998, respectivement par la Préfecture du district de la Gruyère les 31 janvier et 10 juillet 2000. Il invoque une violation de l'art. 8 Cst. et de diverses dispositions cantonales et communales en matière de police des constructions. B._ a brièvement pris position sur le recours. Le Tribunal cantonal conclut à son rejet pour autant qu'il soit recevable. Le Conseil communal de la Ville de Bulle a renoncé à déposer des observations et renvoie aux déterminations qu'elle avait prises en dernière instance cantonale et à l'arrêt attaqué. A._ a déposé des déterminations spontanées. 