Koós János 1937. november 20-án, Kupsa János néven született Bukarestben, id. Kupsa János és Bartis Karola gyermekeként. A család Gyergyószárhegyen élt, de szobafestő édesapja éppen Bukarestben dolgozott, amikor várandós felesége meglátogatta, és ott született meg a fiuk. 1941-ben Erdélyből Miskolcra költöztek, ahol édesapja nővére is lakott.
A vezetéknevét később Koósra változtatva a budapesti Bartók Béla Zeneművészeti Szakközépiskola után a Zeneművészeti Főiskolán oboa szakon végzett. Az Országos Pénzügyőr Zenekar tagja volt 1957 és 1960 között, majd ezután indult táncdalénekesi karrierje.
Táncdalfesztiválokon nagy közönség- és szakmai sikert aratott – három fesztivált megnyert –, legemlékezetesebb dala a Kislány a zongoránál. Énekesi karrierjével párhuzamos volt színészi pályafutása is, 1966 és 1970 között három filmben is szerepelt: Az oroszlán ugrani készül (1966), Bűbájosak (1969), A gyilkos a házban van (1970).
A Mikroszkóp Színpad tagjaként színész és parodista volt 1982-től 1985-ig. Pályája itt és ekkor kapcsolódott össze Hofi Gézával, akivel énekes-parodista duót alakítva számos sikeres színpadi és televíziós produkciót készített. Később a karmesterséggel is megpróbálkozott: szimfonikus zenekart vezényelt a Zeneakadémián is, 1999-től televíziós szórakoztató műsorokat vezetett.
Felesége az énekesnő Dékány Sarolta, lánya, Réka énekes színésznő, Gergő fia is a családi hagyományt folytatva a zenével foglalkozik.
Örökzöld slágerei: Annyi ember él a földön, Én, aki nála jártam, Kapitány, Mondjátok meg Máriának, Nem vagyok teljesen őrült, Sír a telefon.
Koós János megkapta az Artisjus zenei életműdíját, a Hungarotontól életműlemezt vehetett át, és 2008-ban ő kapta meg elsőként a tiszteletbeli pénzügyőr címet. 2014-ben Szenes Iván Életműdíjjal tüntették ki.
MTI