Nato John Arnold Griffin III a Chicago, fu allievo del bluesman Captain Walter Dyett. Griffin suonò con gruppi R&B e blues prima di sterzare verso il jazz. Nel 1956 pubblicò il suo album di debutto "Introducing..." per Blue Note, mentre contemporaneamente suonava stabilmente nel gruppo di Thelonious Monk. Suonò nell'album di jazz arabo "Jazz Sahara" di Abdul Ahmed-Malik e con John Coltrane e Hank Mobley nel celebre album "Blowin Session". In seguito Griffin si trasferì in Europa, suonando fino al mese della sua morte, avvenuta in Francia all'età di 80 anni.
