Pemerintah Hindia Belanda lalu mengangkatnya menjadi letnan Tionghoa. Dia diminta pindah ke Kota Medan sehingga harus berhenti bekerja dari toko Tjong Sui Fo. Dalam waktu singkat, Tjong A Fie diangkat menjadi kapten pada tahun 1895.
Di Medan, Tjong A Fie bergaul sangat luas. Ia dikenal pedagang yang luwes dan sangat dermawan. Dia membina hubungan baik dengan Sultan Deli, Makmoen Al Rasyid Perkasa Alamsyah dan Tuanku Raja Moeda. Tjong A Fie bahkan menjadi orang kepercayaan Sultan Deli untuk mewakilinya dalam berbagai urusan bisnis.
Reputasinya yang baik membuat namanya kian tersohor. Selain menjadi kepercayaan Sultan, Tjong A Fie menjalin hubungan dengan pedagang lain, termasuk dari Eropa dan pejabat pemerintahan setempat. Hubungan baik dengan Sultan Deli menjadi awal kesuksesan Tjong A Fie dalam bisnis. Dia mendapat konsesi penyediaan atap nipah dari sang Sultan untuk pembuatan bangsal-bangsal di perkebunan tembakau.
Dalam perjalanannya, Tjong A Fie juga berhasil memonopoli perdagangan candu untuk kawasan Deli. Keuntungannya digunakan untuk pengembangan usaha. Ia lalu membeli perkebunan karet yang akhirnya memberi banyak keuntungan. Tjong A Fie menjadi orang Tionghoa pertama yang mempunyai perkebunan tembakau. Di samping perkebunan karetnya, dia membuka perkebunan teh. Dia juga berinvestasi pada perkebunan kelapa sawit yang sangat luas. Bahkan, bisnisnya berkembang hingga ke sektor pertambangan di Sumatra Barat.
Bisnis kakaknya Tjong Yong Hian pun semakin berkembang. Mereka lalu bekerja sama dengan konsul Tiongkok di Singapura saat itu, Tio Tiauw, mendirikan perusahaan kereta api di Tiongkok Selatan. Pada 1907, Tjong A Fie berkongsi dengan pengusaha asal Penang mendirikan Bank Deli. Sementara di Batavia pada 1916, Tjong A Fie bersama sejumlah temannya mendirikan Bank Batavia. Saat itu, ia menguasai sepertiga sahamnya. Setelah kakaknya meninggal pada tahun 1911, Tjong A Fie menggantikan posisi kakaknya sebagai mayor.