Yogyakarta menjadi akar kehidupan Kahardiman. Lahir sebagai sulung dari tujuh bersaudara, masa kecil dan remajanya dihabiskan di kota perjuangan tersebut. Ayahnya, Soehirman, seorang guru di Taman Siswa yang kemudian bekerja di OL Mij Bumi Putera. Ibunya, Kaweni, perempuan didikan seorang kiai di daerah Bantul.
TK dilalui Kahardiman di Bibel Wetan, sebelah Jembatan Sayidan. Setelah itu berlanjut ke SD Taman Siswa hingga kelas 3, lalu pindah ke SD Keputran. SMPN 2 Yogya menjadi pelabuhan berikutnya, disusul SMA 6 jurusan C ketika di pendidikan menengah. Semua dilalui dengan mulus.
Lulus dari SMA, Kahardiman masuk Fakultas Hukum Universitas Gadjah Mada (UGM). Ada cerita menarik ketika menempuh kuliah Hukum Pidana. Dia mendapat nilai sangat jelek. Alhasil Kahardiman marah dengan dirinya.
“Saya kesal dan tertantang untuk giat belajar agar ujian berikutnya mendapat nilai baik,” kata Kahardiman. Benar saja. Dalam ujian berikutnya, di luar dugaan dia mendapat nilai terbaik. Karena itu pula, suatu ketika dosennya, Profesor Roeslan Saleh memanggilnya.
“Mengko kowe dadi asisten dosenku yo (nanti kamu jadi asisten dosen ya)?” kata Roslan.