Ayahnya barus sadar bakat terpendam sang anak ketika Rudy berusia 11 tahun. Sebelumnya, Rudy hanya berlatih di aspal jalan raya di depan kantor PLN di Surabaya yang dulunya bernama Jalan Gemblongan.
Bakat Rudy kemudian ditempa ayahnya melalui Persatuan Bulu Tangkis Oke dengan proses latihan yang sangat disiplin. Ia selalu ditekankan pada empat hal utama yakni kecepatan, pengaturan napas, sifat permainan yang agresif dan konsistensi dalam mengambil target.
Rudy kemudian pindah ke grup bulu tangkis yang lebih besar yaitu Rajawali Group, yakni grup yang telah melahirkan banyak pemain bulu tangkis dunia.
Pada perkembangannya, Rudy memutuskan untuk pindah ke Pusat Pelatihan Nasional pada akhir tahun 1965 untuk persiapan Piala Thomas. Tak lama setelah itu, penampilan Rudy Hartono semakin membaik.
Ia turut ambil bagian dengan memenangkan Thomas Cup untuk Indonesia pada tahun 1967. Pada usia 18 tahun, untuk pertama kalinya Rudy memenangkan titel Juara All England dengan mengalahkan Tan Aik Huang dari Malaysia dengan hasil akhir 15-12 dan 15-9. Setelah itu, namanya terus melesat dan haus gelar juara dari tahun ke tahun.