Tjong A Fie lalu menikah dengan Nona Chew dari Penang di Labuhan Deli dan mempunyai tiga anak. Setelah istri keduanya meninggal, dia menikah dengan Lim Kui Yap yang lahir pada tahun 1880 di Binjai. Mertuanya kepala mandor perkebunan tembakau di Sungai Mencirim yang mengepalai ratusan kuli kontrak. Dari istri ketiganya, dia memperoleh tujuh anak. Anak pertamanya Tjong Foek Yin atau Queeny Chang, kelak menulis autobiografi berjudul Memories of a Nonya.
Tjong A Fie meninggal pada 8 Februari 1921 karena pendarahan otak. Seluruh Kota Medan pun gempar dan berkabung. Ribuan pelayat datang dari berbagai daerah di Sumatera Timur, Aceh, Padang, Jawa, Penang, dan Singapura. Hal yang sama juga terlihat saat kakaknya Tjong Yong Hian meninggal. Kedermawanan mereka tanpa membeda-bedakan bangsa, ras, agama, dan asal-usul, membuat Tjong bersaudara menjadi legenda, terutama bagi penduduk Kota Medan dan sekitarnya.
Empat bulan sebelum meninggal, Tjong A Fie sudah membuat surat wasiat. Isinya mewariskan seluruh kekayaannya kepada Yayasan Toen Moek Tong yang harus didirikan di Medan dan Sungkow, kampung halamannya, saat ia meninggal dunia. Yayasan di Medan diminta melakukan lima hal.
Tiga hal di antaranya, memberikan bantuan keuangan pada kaum muda berbakat dan berkelakuan baik serta ingin menyelesaikan pendidikannya, tanpa membedakan ras, keturunan dan kebangsaannya. Kemudian, membantu yang tidak mampu bekerja dengan baik karena cacat tubuh, buta, atau menderita penyakit berat. Dia juga berpesan kepada yayasan membantu korban bencana alam tanpa membedakan kebangsaan atau etnisnya.
Sayangnya setelah Tjong A Fie meninggal, seiring berjalannya waktu, semua harta peninggalan baik perkebunan, bank, pertambangan, dan rumah, habis. Kini, salah satu jejak kekayaan Tjong A Fie bisa dilihat di Jalan Ahmad Yani atau Jalan Kesawan, Medan. Kediamannya yang didirikan pada tahun 1895 itu dikenal sebagai Tjong A Fie Mansion. Rumah ini dibuka untuk umum pada 18 Juni 2009, memperingati ulang tahun Tjong A Fie ke-150. Bangunan berarsitektur China, Melayu dan Art Deco ini menjadi salah satu objek wisata bersejarah di Medan.