Narodil sa v učiteľskej rodine.
Študoval na základnej umeleckej škole v Šahách a pokračoval v štúdiu na konzervatóriu v Bratislave hru na klavír a neskôr na konzervatóriu v Žiline.
Po ukončení štúdia hrával v bratislavskom vysokoškolskom klube Véčko so skupinou Petra Lipu Blues Five. Zúčastnil sa s ňou aj pražského beatového festivalu v roku 1969.
Neskôr študoval na VŠMU dramaturgiu a scenáristiku, kde v roku 1976 promoval. Spolupracoval s viacerými divadlami nielen ako hudobník, ale aj ako herec. Účinkoval aj vo filme, a hral melancholické, vážne postavy, čo bolo takmer opakom s jeho civilným životom. Hlavnú rolu stvárnil napríklad v biografickom filme Františka Vláčila Albert /1987/. K mnohým filmom zase skomponoval hudbu. Hudbu vytvoril napríklad k filmu Rivers of Babylon /1998/.
Je napríklad autorom scénickej hudby k hre Tri sestry /1984/ či Cyrano z Bergeracu /1983/.
Pracoval aj v rozhlase, v Rádiu Twist vysielal niekoľko relácií. Obľúbená bola najmä spoločná talkshow so Stanom Radičom Záložňa, Noční vtáci, ktorí vznikali v spolupráci s Romanom Kittlerom a neskôr s jeho starším synom Jarom.
Významná je jeho spolupráca s Dežom Ursínym, s ktorým spoločne nahrali legendárny album Provizórium a neskôr ďalšie. Poznali sa od Jarových pätnástich rokov a dlhé roky s ním spolupracoval a nahral klávesy na väčšinu jeho albumov. Ako priatelia a ako muzikanti boli spolu v kontakte dve tretina Jarovho života.
Diváci a poslucháči však intenzívnejšie vnímali jeho spoluprácu s dvojicou komikov Lasica a Satinský. Veľmi si rozumeli, dokonca aj bez zbytočného vysvetľovania. Trojica Filip, Lasica a Satinský nahrala spolu niekoľko albumov vrátane legendárneho Bolo nás 11 /1981/. Sú tam piesne, ktoré sa stali natoľko obľúbené, že časom prakticky zľudoveli.
Medzi ďalšie patrí napríklad S vetrom o preteky, My či Sťahovaví vtáci.
Spolu ralizovali aj kabaret Ktosi je za dverami a viacero divadelných projektov.
V prvej polovici osemdesiatych rokov bol členom populárnej skupiny YPS.
V polovici deväťdesiatych rokov začal Jaro Filip spolupracovať s Richardom Müllerom. Na album 33 z roku 1994 mu zložil, okrem jednej skladby, všetky piesne. Spolupracovali spolu aj na väčšine pesničiek na albumoch LSD, Nočná optika aj Koniec sveta.
Ako poctu Filipovi nahral Müller po jeho smrti spoločne s Milanom Lasicom platňu Müller spieva Lasicu, Lasica spieva Müllera, Lasica a Müller spievajú Filipa.
V deväťdesiatych rokoch spolupracoval so Štefanom Skrúcaným, Rasťom Piškom, Mirom Nogom, Stanom Radičom a Zuzanou Tlučkovou na humoristických reláciách ako Apropo TV či Telecvoking. Vyjadroval tak názory na spoločenské dianie deväťdesiatych rokov.
Bol obrovským fanúšikom počítačov a internetu, ktorého sa nevedel nabažiť a svoju kvázi závislosť prirovnával ku knihomoľstvu. V roku 1997 spolu s Róbertom Dydom založili prvý slovenský internetový magazín Sieťovka. Od roku 1994 publikoval články a recenzie počítačových hier v časopise RIKI.
S manželkou Evou mal tri deti: synov Jara a Lea, a dcéru Evu.
Jeho dcérou je aj mladá hudobníčka Dorota Nvotová, ktorú má spolu s herečkou Annou Šiškovou.
Vyšla o ňom životopisná kniha Človek hromadného výskytu (Slovart, 2002) od Mariana Jaslovského.
In memoriam mu bola udelená Cena ministra kulúry SR a to za neobyčajný a mnostranný umelecký talent a osobité umelecké aktvity, schopnosť tímovej spolupráce s výraznými slovenskými a českými umelcami, ako ja za výnimočné osobnostné a charakterové vlastnosti a postoje.
