Studijuodamas Berklio muzikos koledže, kartu su bendrakursiais John Myung ir Mike Portnoy, įkūrė grupę "Majesty", vėliau pervadintą į Dream Theater. Po 1992 m. albumo "Images and Words" sėkmės, Dream Theater smarkiai išpopuliarėjo, o John Petrucci, laikui bėgant, imtas laikyti vienu iš techniškiausių ir įdomiausių iš šiuo metu grojančių gitaristų.

1998 m. ir 1999 m. sugrojo projektuose Liquid Tension Experiment ir Liquid Tension Experiment 2 (kartu su Mike Portnoy, Jordan Rudess ir legendiniu Tony Levin).

2001 m. ir 2005 m. dalyvavo kasmetiniame G3 ture kartu su Joe Satriani ir Steve Vai.

2005 m. išleido solinį albumą Suspended Animation.