Baker suonò il bebop con musicisti del calibro di Stan Getz e Charlie Parker. Ma fu la sua militanza nel "quartetto-senza-piano" del baritonista Gerry Mulligan, all'insegna di un raffinato intreccio di linee melodiche contrappuntistiche, a fargli guadagnare l'attenzione. La sua voce languida e androgina gli regalò il suo più grande successo con "My Funny Valentine". Purtroppo, la sua vita fu segnata dalla tossicodipendenza. Dai primi anni '70, tentò diversi ritorni sulle scene con alterne fortune, ma trovò un nuovo pubblico quando contribuì con un assolo di tromba al brano "Shipbuilding" di Elvis Costello del 1986.