Clark era originario di Herminie, a est di Pittsburgh, ma fu durante una visita alla zia in California che si immerse completamente nel jazz, unendosi al clarinettista Buddy Defranco in tournée per tre anni. Clark tornò sulla costa orientale accompagnando Dinah Washington, e così iniziò la sua collaborazione con la Blue Note. Suonò con molte delle figure più importanti dell'hard bop, sia come leader che come pianista di casa alla Blue Note (ricordiamoin particolare in "Sonny's Crib", con John Coltrane). Clark morì tragicamente e prematuramente a soli 31 anni: grande fu il cordoglio nella comunità del jazz, e così il caro amico Bill Evans gli dedicò il desolato capolavoro "NYC's No Lark" (nell'album "Conversation with Myself").