7 Nisan 1953’de İstanbul Fatih’te doğdu. Müzisyen bir aileye mensup olan Erkoç'un müziğe olan ilgisi, özellikle ud sanatçısı olan babası Hasan Erkoç'tan geliyordu. Henüz üç yaşındayken, babasının hediye ettiği keman ve yine sanatçı dayısı Hafiz Sami'nin aldığı mızıka, çaldığı ilk enstrümanlar oldu. Türk sanat müziğine tutkun olan ailenin, o zamanların taş plaklarından oluşan geniş bir müzik arşivi bulunuyordu. Bu kaynaktan iyi bir şekilde yararlanmayı bildi ve özellikle enstrümantal müzik yeteneğini geliştirmeye çalıştı. İlköğreniminin ardından, tutkularının peşinden gitmeye karar vererek İstanbul Belediye Konservatuarı'nın Batı Müziği bölümünde müzik eğitimine başladı ve ortaokul öğrenimine burada devam etti. Konservatuardaki ilk zamanlarında klasik gitara merak sardı, çok sesli müziğe yatkınlığı nedeniyle eğitmenleri tarafından trombon ve kontrbas verildi. Sonraları piyano, saksafon, trompet, ud ve flütle de tanışan sanatçının müzik yaşamına zamanla pek çok enstrüman eşlik etmeye başladı.
İlk amatör sahne performanslarını, günümüzde de halen faaliyetlerini sürdüren ve genelde caz türü müzik yapan ünlü İstanbul Gelişim Orkestrası'nın bünyesinde sergileyen Erkoç, eğitimini yarıda bırakmak zorunda kaldı. 1971’de İstanbul Gelişim Orkestrası'yla birlikte "Nihayet" adlı bir albüme de imza attı. Grupla çalışmalarını sürdürdüğü bir dönemde, dört ay boyunca da İstanbul Devlet Senfoni Orkestrası bünyesinde trombon çaldı. Bu çalışmanın ardından, Ankara'da vatani görevini yerine getirdiği dönemlerde, ünlü caz davulcusu Erol Pekcan'ın kendi orkestrasında çalmaya başladı. Bu orkestrayla birçok konserde birlikte yer aldı, aynı zamanda birçok radyo ve televizyon programında da performans sergiledi ve özel konserlere katıldı. Fatih Erkoç, 1975’de ileriki 11 yılını geçireceği Norveç'e gitti. Sadece Norveç'le yetinmeyerek, farklı İskandinav Yarımadası ülkelerinde faaliyet gösteren birçok orkestrayla birlikte çalıştı; konserler verdi. 10'un üzerinde enstrümanı profesyonel bir şekilde çalabilen sanatçı, burada çalıştığı orkestralarda da birbirinden farklı müzik aletleriyle yer aldı.
1986 yılında yurda döndü. Aynı yılın Temmuz ayında, sonraları geleneksel olarak her yıl yapılmaya başlanacak olan Kuşadası I. Altın Güvercin Şarkı Yarışması'na, sözü, müziği, aranjesi kendisine ait olan ve yine kendisinin seslendirdiği "Yol Verin A Dostlar" isimli şarkısı ile katılarak, birincilik elde etti. Şarkının kısa zamanda popüler olması nedeniyle bir albüm yapmaya karar verdi ve 1987’de parçayla aynı adı taşıyan ilk albümünü, Midas Müzik etiketiyle çıkardı. Böylece Fatih Erkoç adı, geniş kitlelerce tanınır hale geldi ve bu çalışma çok başarılı oldu. 1989 tarihli Altın Güvercin Şarkı Yarışması'na, yine tamamen kendi üretimi olan "Sen ve Ben" adlı parçasıyla katıldı ve bir defa daha birinciliğe layık görüldü. Yine 1987 yılında, sözü ve müziği kendisine ait olan "Dünya Barışı İçin" adlı parçanın yanı sıra; Harun Kolçak, Rüya Ersavcı ve Arzu Ece'yle birlikte seslendirdiği, sözü ve müziği Selçuk Başar'a ait "Keloğlan" adlı parçayla ilk defa Eurovision Türkiye elemelerine katıldı.
Ama bu sonuncu olmadı ve 1995 yılına kadar, "Bitmesin Bu Sonbahar" (1988), "Bir Nostalji Bu" (1989), "Özledim" (1990), "Gülbeyaz Sokağı" (1991) ve "Duygular" (1995) gibi çoğunlukla sözünü ve bestesini kendi yaptığı parçalarla elemelere katıldı; zaman zaman da farklı bestecilerin şarkılarıyla ve yine farklı şarkıcılarla birlikte yarıştı. 80'li yılların sonlarına doğru, TRT Hafif Müzik ve Caz Orkestrası bünyesinde solistlik yapmaya ve trombon çalmaya başladı. Bu orkestrayla geçirdiği altı yıl boyunca, çok sayıda caz konserinde yer aldı; radyo-tv programlarında performans sergiledi ve Amerika, İtalya, Fransa, Finlandiya ve Hollanda gibi ülkelerde düzenlenen birçok önemli caz festivaline katıldı. 1989 yılında ise, Malezya'da düzenlenen bir pop müzik şarkı yarışmasına sözü, müziği ve aranjesi kendine ait olan "Korku" adlı parçayla katılarak, Türkiye'yi temsil etti. 1992'de yeniden stüdyoya girmeye karar veren Erkoç, "Ellerim Bomboş" adlı albümünü müzikseverlerin beğenisine sundu. Raks Müzik etiketini taşıyan, pop müzik altyapılarının kullanıldığı bu albüm ve özellikle kapak şarkısı dinleyicilerden büyük beğeni topladı. Hemen ertesi yıl, yine Raks Müzik'ten "Penceremden Gökyüzüne" adlı üçüncü solo albümünü piyasaya sürdü ve albümdeki birçok şarkı kısa sürede dillere dolandı.
Stüdyo çalışmalarını aralıksız sürdüren ve verimli bir dönemin içinde bulunan Erkoç, 1994’de "Sana Deliyim" adlı çalışmasıyla müzik marketlerde yerini aldı. İki yıl aradan sonra, 1996'da ise bu defa "Kardelen" albümüyle müzikseverlerle buluştu. 1999'un sonlarına doğru, yapımcılığını bizzat kendisinin üstlendiği; sözü, müziği, düzenlemesiyle tamamen kendine ait şarkılardan oluşan ve kendi adını taşıyan albümüyle sevenlerine 'merhaba' dedi. Aura Müzik etiketini taşıyan bu albümün ardından, daha çok sahne ve konser çalışmalarına ağırlık verdi; TRT'de "Fatih Erkoç'la Yankılar" adlı bir müzik programı yapıp sunmaya başladı. Programa daha sonra Kanaltürk'te devam etti. Altı yıl aradan sonra yeniden stüdyoya giren sanatçı, 2005 yılının Haziran ayında ise, sözü ve müziği kendine ait 15 yeni şarkıdan oluşan "Beklenen" adlı albümünü kendi müzik şirketi MEFA'dan çıkardı. 2007 yılında Rec By Saatchi etiketini taşıyan ve Fatih Erkoç’un en sevilen eserlerinden oluşan “Kör Randevu” isimli albümü sevenleriyle paylaştı. Daha sonra 2009’da caz sanatçısı Kerem Görsev ile “The Lady From İstanbul”, 2010’da “Seher Yeli”, 2011’de “Yanında Her Kimse” ve 2012 yılında da 'Babamdan Miras" isimli albümlerini sevenleriyle paylaştı.
Tümünü Göster