Dia adalah raja pertama yang menjadi korban gaya hidup kebarat-baratan yang melanda keraton-keraton Jawa selatan-tengah pasca-1816. Karenanya di Keraton Yogya ia pun tidak sendirian.
Putranya sendiri yang kelak akan memerintah selama dua dekade sebagai Hamengkubuwono V, konon sudah terkena penyakit sifilis pada usia 20 tahun. Semua itu akibat cara hidup tak terkendali, gemar minum-minuman keras dan main perempuan, yang sebagian didorong oleh para saudagar dan pemasok barang orang Eropa di Yogya yang kurang bermoral.
Setelah kematian misterius Sultan Hamengkubuwono IV, Pangeran Diponegoro konon baru tahu dokumen rahasia warisan sang ayah Sultan Hamengkubuwono III telah dibakar. Pangeran Diponegoro pun merasa marah begitu besar, hingga kemudian mempercepat penolakannya untuk terus melakukan tugas-tugasnya dengan baik sebagai wali dan bermuara pada putusnya hubungan secara total dengan keraton.