Penolakan perkawinan ini tentu tidak menghalangi kehidupan seks sang pangeran yang cukup aktif. Pietermaat Residen Manado melaporkan percakapan yang paling digemari sang pangeran adalah tentang perempuan dimana dia terlihat sebagai seorang kekasih yang hebat.
Selama di pengasingan pula Pangeran Diponegoro juga mendapat tidak kurang dari tujuh anak lagi. Kebanyakan didapat dari perempuan - perempuan Jawa di luar istri resminya.
Hal ini konon membawa pergolakan pada kehidupan sang pangeran di Benteng Fort Nieuw Amsterdam yang tertutup.
Sosok Pangeran Diponegoro yang tegas, berjiwa bebas, serta meluap-luap dengan pendapatnya sendiri membuat sang pangeran konon sering terlibat cekcok dengan adik perempuannya, Raden Ayu Dipowiyono.
Selama 10 bulan di Manado, Cambier telah memberikan laporan akan pertengkaran yang terjadi antara pangeran dengan adik perempuan, istrinya, hingga saudara iparnya.
Konon sikap pangeran yang tidak toleran menjadi pemicu pertengkaran ini terkait desakan pembelian sebidang tanah.
Ketegangan itu pula yang konon membuat seluruh keluarga Pangeran Diponegoro memilih untuk pulang ke tanah Jawa. Tercatat adik perempuan, saudara ipar, dan para pembantu adik perempuan Pangeran Diponegoro dipulangkan ke Jawa pada Agustus 1832.
Sementara Raden Ayu Retnoningsih yang baru saja melahirkan anak pertamanya bernama Raden Mas Kindar memilih untuk tetap tinggal menemani suaminya di pengasingan.
Hal ini tentu membuat lega sang pangeran, terlebih empat ruangan di Benteng Fort Nieuw Amsterdam dapat digunakan sepenuhnya untuk istri dan membesarkan anaknya.