Faits: A. A.X._, ressortissant du Kosovo né en 1971, est arrivé en Suisse le 24 mai 2003 et y a épousé, le 8 août 2003 à C._, B._, ressortissante suisse. A la suite de ce mariage, il a été mis au bénéfice d'une autorisation de séjour qui a été régulièrement renouvelée. Par jugement du Tribunal de première instance du canton de Genève du 2 novembre 2004, les époux X._ ont été autorisés à vivre séparés. Le 3 août 2005, A.X._ a informé l'Office cantonal de la population du canton de Genève (ci-après: l'Office cantonal de la population) qu'il avait pris un nouveau domicile à la suite de sa séparation d'avec son épouse. Le 24 août 2005, l'Office cantonal de la population a invité B.X._ à l'informer de la suite qu'elle entendait donner à la séparation et à lui indiquer en particulier si une procédure de divorce avait été engagée ou si une reprise de la vie commune était envisagée. Par courrier du 30 août 2005, la prénommée a répondu que son mari et elle vivaient séparés depuis le mois d'août 2004 et que des mesures protectrices de l'union conjugale avaient été prises quelques semaines plus tard. Invité à son tour à donner des renseignements sur la situation du couple, A.X._ a déclaré dans une écriture du 26 octobre 2005 qu'il gardait des contacts réguliers avec son épouse et qu'il espérait reprendre la vie commune. Par jugement du 25 juillet 2007, le Tribunal tutélaire du canton de Genève a prononcé l'interdiction et la mise sous tutelle de B.X._. Auparavant, le 2 juillet 2007, A.X._ a sollicité le renouvellement de son autorisation de séjour, laquelle arrivait à échéance le 7 août 2007. Le 8 août 2008, l'Office cantonal de la population a informé le prénommé qu'il était disposé à renouveler son autorisation de séjour, mais que la prolongation était soumise à l'approbation de l'Office fédéral des migrations (ci-après: l'Office fédéral), auquel le dossier était transmis. Par courrier du 27 août 2008, l'Office fédéral a communiqué à A.X._ qu'il envisageait de refuser de donner son accord à la prolongation sollicitée et de prononcer son renvoi. Un délai lui était imparti pour se déterminer. Dans une écriture du 8 septembre 2008, A.X._ a relevé qu'il était séparé de sa femme, mais qu'il maintenait de bons contacts avec elle et lui versait une pension alimentaire de 400 fr. par mois. Ayant perdu son travail en raison de la maladie de son épouse, il se trouvait dans une situation financière difficile, mais avait toujours payé ses impôts et n'avait jamais eu recours à l'assistance publique. Il avait toujours cherché à travailler en Suisse pour aider financièrement ses deux filles et ses parents résidant au Kosovo. Dans un courrier du 25 septembre 2008, il a ajouté que son mariage avec B.X._ avait été un mariage d'amour, mais que son épouse avait été mise sous tutelle le 25 juillet 2007 en raison de troubles psychiatriques qui avaient entraîné leur séparation. Auparavant, le 7 septembre 2008, B.X._ a adressé à l'Office des migrations un courrier dans lequel elle relevait notamment que son union avec A.X._ avait été un mariage d'amour, que celui-ci continuait à la soutenir malgré leur séparation et qu'il se trouvait au chômage en raison du non-renouvellement de son permis de séjour, alors qu'il devait soutenir financièrement ses deux filles résidant au Kosovo. B. Par décision du 19 décembre 2008, l'Office fédéral a refusé d'approuver la prolongation de l'autorisation de séjour de A.X._ et a prononcé son renvoi de Suisse. Saisi d'un recours contre cette décision, le Tribunal administratif fédéral l'a rejeté par arrêt du 27 octobre 2009. Il a relevé que les époux X._ vivaient séparés depuis près de cinq ans, sans qu'une reprise de la vie commune ne soit prévue à brève échéance. Par conséquent, le mariage n'existait plus que formellement et il était abusif de la part du recourant de s'en prévaloir aux fins d'obtenir le renouvellement de son autorisation de séjour. Le Tribunal administratif fédéral a par ailleurs estimé que l'Office fédéral n'avait pas outrepassé le pouvoir d'appréciation qui était le sien en vertu de l'art. 4 de la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 1 113) en refusant d'approuver la prolongation litigieuse. C. Agissant par la voie du recours en matière de droit public, A.X._ demande au Tribunal fédéral, en substance, d'annuler l'arrêt du 27 octobre 2009 et de renouveler son autorisation de séjour. L'autorité précédente et l'Office cantonal de la population renoncent à se déterminer sur le recours. L'Office fédéral en propose le rejet. 