Memanfaatkan jam kosong di luar dinas, Haryanto mulai berpikir tentang mencari tambahan penghasilan. Satu-satunya pekerjaan yang kuasai dengan baik adalah mengemudi. Maka, ia pun bekerja sambilan sebagai sopir angkot.
Dengan gaji prajurit ditambah penghasilan tambahan sebagai sopir angkot, tahun 1982 Haryanto memberanikan diri membangun rumah tangga. Dia meminang wanita pujaan hati, Suheni (pasangan ini dikaruniai tiga putra dan tujuh cucu).
Hj Suheni meninggal dunia 22 April 2014. Selang beberapa tahun kemudian Haryanto menikahi Nurhana, (sinden dan penyanyi campursari kondang).
Usai menikah, lazim jika kebutuhan sehari-hari bertambah. Dengan gaji tentara serta tambahan sebagai sopir angkot, tak jarang ia harus gali lubang utang, sekadar bisa membayar sewa kontrakan yang berukuran 3x4 meter.
Himpitan ekonomi, justru melecut tekad Haryanto untuk bekerja lebih gigih. Nabung, jadi 'jalan ninja' Haryanto untuk bisa memenuhi kebutuhan itu. “Saya mulai bisa menabung. Kadang sepuluh ribu per hari, kadang lebih, kadang kurang, tergantung rezeki yang saya dapat,” ujarnya.