Первоисточник — лексикон профессиональных звонарей: в нем колокола на звоннице называются обычно «тяжкая». Когда и как звонить, определял соответствующий церковный устав под названием «Типикон».
В оригинале: Ударять во вся тяжкая (то есть бить во все колокола сразу).
Отсюда, как считают авторы справочника «Крылатые слова» Н. С. и М. Г. Ашукины, и происходит выражение «пуститься по все тяжкие», которое было переосмыслено по ассоциации с выражением «тяжкий грех» и стало означать определенную модель поведения человека.
Иносказательно: сбиться с истинного пути, прожигать жизнь и т. д. (неодобр.).