Faits : A. Par jugement du 9 février 2012, le Tribunal pénal de l'arrondissement de la Sarine a reconnu X._ coupable de crime et contravention à la loi fédérale sur les stupéfiants, le condamnant à une peine privative de liberté de 3 ans, dont 18 mois fermes et 18 mois avec sursis durant 3 ans, sous déduction de la détention avant jugement et de l'exécution anticipée de peine subies, ainsi qu'au paiement d'une amende de 500 francs. Le Tribunal pénal a en outre condamné X._ au paiement d'une créance compensatrice en faveur de l'Etat de Fribourg de 10'000 fr. ainsi qu'au paiement des 4 / 5 des frais de justice, soit un émolument de 3'000 fr. et des débours à hauteur de 49'912 fr. 65. B. Par arrêt du 5 mai 2014, la Cour d'appel pénal du Tribunal cantonal fribourgeois a partiellement admis l'appel formé par X._, en ce sens qu'il a été condamné à une peine privative de liberté de 36 mois, dont 11 mois fermes et 25 mois avec sursis pendant 3 ans. Les débours ont été réduits à 26'896 fr. 65, le jugement étant confirmé pour le surplus, en particulier quant au montant de la créance compensatrice. En substance, la cour cantonale a retenu que X._ avait vendu, entre 1997 à début 2010, 1'313 grammes bruts de cocaïne à une dizaine de consommateurs, dont 590 grammes à A._. Le 4 mars 2010, il en avait acheté 50 grammes en vue de les revendre. C. X._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, principalement à son acquittement du chef de prévention de crime à la LStup pour le cas A._, au prononcé d'une peine privative de liberté de 16 mois avec sursis pendant 3 ans, sous déduction de la détention provisoire et de l'exécution anticipée de peine, au paiement d'une créance compensatrice de 5'000 fr., et à sa condamnation au paiement de la moitié des frais de justice, l'autre moitié étant laissée à la charge de l'Etat de Fribourg. Subsidiairement, il conclut à l'annulation du jugement cantonal. En outre, il sollicite l'assistance judiciaire. 