Nato a Long Island, Taylor iniziò a suonare il pianoforte all'età di sei anni e si diplomò al New England Conservatory. Il suo album di debutto "Jazz Advance", del 1956, gettò le basi per lo sviluppo del suo stile percussivo atonale, che si sarebbe rivelato influente nello sviluppo del free jazz. Taylor collaborò con John Coltrane all'album "Coltrane Time" e nel 1966 registrò il suo album fondamentale "Unit Structures", in cui espresse appieno il suo stile distintivo. Si dedicò anche all'esecuzione e alla produzione di musica per il teatro e la danza e, alla fine degli anni '80, si esibì con molti dei principali esponenti dell'improvvisazione libera europea. La sua vita è stata oggetto di diversi documentari. Taylor continuò a lavorare fino alla sua morte, all'età di 89 anni.
