Phil Woods, empezó a interesarse por la música cuando heredó de un tío suyo, un saxo. A finales de los años cuarenta se traslada  New York decidido a hacerse músico profesional. Estudió con el pianista, Lennie Tristano y posteriormente en la "Manhattan School of Music" y en la prestigiosa "Julliard School" donde se licencio en el estudio del clarinete. Sus primeros contratos profesionales se remontan a 1954, cuando tras una breve colaboración con Richard Haynes, fue contratado sucesivamente por las orquestas de Charlie Barnet y por el quinteto de Jimmy Raney. Tambien en 1954 grabó su primer disco a su nombre y en quinteto para el sello "New Jazz" y titulado: "Phil Woods and New Jazz Quintet" 

     En 1956, militó en la orquesta de Dizzy Gillespie, actuando con el celebra trompetista en casi todo el mundo durante los tres años que estuvo con él. Posteriormente estuvo con la banda del maestro de la batería, Buddy Rich en 1958 y entre 1959 y 1961, perteneció a la orquesta de Quincy Jones, donde grabó numerosos álbumes. En 1961 grabó su primer gran disco en quinteto con composiciones propias. El álbum se titulo "Rights of Swing" y se grabó para el sello "Candid" con el acompañamiento, entre otros grandes músicos, de Tommy Flanagan al piano y Curtis Fuller al trombón. En 1962 participó en el improvisado grupo que acompaño al clarinetista, Benny Goodman de gira en la Unión Soviética y de cuyo recuerdo queda el disco: "Benny Goodman and his Orchestra en Moscow". 

     Tras participar como jazzmen de Thelonious Monk y de Oliver Nelson, no volvió a grabar a su nombre hasta 1966. En 1968 abandonó los Estados Unidos, asqueado por el racismo y se trasladó al viejo continente, afincándose en Paris donde fundó uno de sus grupos mas famosos, el cuarteto denominado "European Rhythm Machine" con la que recorrió Europa de cabo a rabo y grabando varios álbumes importantes, entre ellos el grabado en directo en el festival de jazz de Montreux en 1969 o en el festival de jazz de Frankfurt. A principios de la década de los setenta, volvió a New York y en 1974 graba lo que muchos consideran su obra maestra: "Musique du Boys", un álbum revitalizador de su música producto de su encuentro con Michel Legrand y acta fundacional de la música que Phil Woods haría a partir de entonces. Con ese cuarteto extraordinario que grabó "Musique du Bois" (Jaki Byard al piano; Richard Davis al contrabajo y Alan Dawson a la batería) Phil Woods, puso las cosas en claro sobre donde estaba el peso de la tradición moderna y ayudó en gran medida a reconducir el jazz a sus cauces naturales, en una época, principios de los setenta, donde el jazz estaba bastante desconcertado.

     La discografía de Phil Woods, es amplísima y de una gran calidad media. Desde mediados de los años setenta, en distintos cuartetos o quintetos, su formula musical preferida, Phil Woods ha grabado discos con los mas grandes instrumentistas del jazz y varias casas discográficas conservan lo mejor de su música en esos años. Muy vinculado en sus inicios, tanto musical como personalmente, a la figura del maestro, Charlie Parker (tras su muerte contrajo matrimonio con la compañera de Parker, Chan Richardson, adoptando incluso los hijos de Parker y heredando el saxo alto del genio de Kansas City), Phil Woods esta considerado como el mas brillante discípulo blanco de Charlie Parker.