Rivers nacque in Oklahoma, ma si trasferì sulla costa orientale per studiare al Boston Conservatory. Nel 1959 iniziò a suonare con un Tony Williams tredicenne, esperienza che lo portò a suonare nel quintetto di Miles Davis in tour in Giappone. Poco dopo, Rivers iniziò la sua carriera discografica, mettendo in mostra la sua tecnica compositiva "dall'interno verso l'esterno", in cui le melodie si allontanavano dalla struttura armonica per poi ritornarvi. Negli anni '70, Rivers gestì lo Studio Rivbea con la moglie Bea, un loft a New York che fu un punto di riferimento per la scena free jazz di quel decennio, insieme al suo trio e alla Rivbea Orchestra. Rivers si spense a Orlando all'età di 88 anni.
