Hij begon zijn muzikale loopbaan als koorknaap (jongenssopraan) bij de Stephansdom te Wenen. Toen zijn stem volwassen werd, moest hij daarom het koor verlaten en ging zich helemaal toeleggen op het componeren.
Hij componeerde voornamelijk kerkmuziek en daarnaast een veertigtal symfonieën, partita's, orgelwerken en kamermuziek. Vooral zijn missen, met opmerkelijk gebruik van het gregoriaans, weerspiegelen de Oostenrijkse kerkmuziekpraktijk van de Verlichting. Zijn Requiem heeft aanzienlijke invloed uitgeoefend op dat van Mozart.
In 1757 werd hij in Großwardein benoemd tot Musikdirektor van de bisschop aldaar. In 1762 werd hij benoemd tot concertmeester en dirigent van de bisschop in Salzburg. Dit ambt bekleedde hij 43 jaar lang. In Salzburg raakte hij bevriend met Mozart, die zijn werk zeer waardeerde. Ondertussen schreef hij in die periode 360 composities. Michael Haydn geldt als de eerste componist die belangrijke werken voor mannenkoor schreef. Ook gaf hij les aan onder andere
Carl Maria von Weber en
Anton Diabelli. Schubert, die zijn mannenkoren ongetwijfeld kende, stond nog tot tranen geroerd bij zijn grafmonument in Salzburg.
In Rohrau staat het geboortehuis van Haydn. Dit is het geboortehuis van zowel Joseph als Michael Haydn. Tegenwoordig is het ingericht als museum.
