Bahkan, Denny Sumargo pernah gagal menikah pada 2014 karena diselingkuhi oleh kekasihnya, namun tidak diketahui siapa kekasihnya itu.
Denny Sumargo pernah berpacaran lama dengan seorang penari bernama Vivi selama 4 tahun. Lalu pada 2013, Denny juga pernah dituding menghamili DJ Verny Hasan, namun enam tahun kemudian tepatnya pada 2019, Denny berhasil membuktikan kebohongan itu dengan tes DNA.
Verny pun menggelar konferensi pers dan meminta maaf kepada Denny dan keluarganya.
Denny Sumargo juga pernah menjalin hubungan cukup serius dengan pengusaha Dita Soedarjo, pemilik waralaba eskrim merek Haagen Dazs. Mereka sempat bertunangan dengan pesta yang cukup mewah, namun tak lama Denny memutuskan untuk membatalkan rencana pernikahannya karena adanya masalah besar yang tidak disebutkan.
Pada 21 November 2020 atau dua tahun setelahnya, Denny menikahi Olivia Allan. Pernikahan tersebut digelar di sebuah Green Forest Resort dan mengusung konsep intimate wedding. Olivia Allan merupakan Komisaris Independen di PT Citra Marga Nusaphala Persada Tbk (CMNP), yang merupakan perusahaan jalan tol milik Jusuf Hamka.