Rudy Hartono lahir dengan nama kecil Nio Hap Liang di Surabaya, pada tanggal 18 Agustus 1949. Ia merupakan anak ketiga dari delapan bersaudara.
Salah satu adiknya adalah Utami Dewi, juara nasional 5 kali dan mantan anggota tim Piala Uber Indonesia. Rudy Hartono muda mulanya menggeluti banyak jenis olahraga atletik, bola voli, sepak bola, bahkan sepatu roda.
Namun, jalan atletiknya segera membawanya ke bulu tangkis. Rudy memiliki istri bernama Jane Anwar yang menikah tahun 1976 dan dikaruniai dua anak.
Selain All England, beberapa turnamen dunia lain yang tak kalah bergengsi juga pernah dimenangkannya. Antara lain adalah 4 gelar juara Piala Thomas, Jepang Open, Asian games, dan juara dunia pada 1980.
Namun, semua pencapaian tersebut rupanya bermula dari bakat emasnya yang dilirik sang ayah. Rudy Hartono mulai menunjukkan bakat bermain bulu tangkis pada usia 9 tahun.