Saat itu, pemilik perkebunan sengaja membuat buruh bergantung pada candu dan perjudian sehingga menghabiskan penghasilannya. Saat kontrak kerja mereka selama tiga tahun berakhir, buruh tidak bisa kembali ke daerah asalnya. Situasi ini dimanfaatkan para pemilik perkebunan untuk tetap mempekerjakan mereka. Tidak perlu lagi mengeluarkan biaya mendatangkan buruh baru.
Kesuksesan Tjong Yong Hian di Medan mendorong Tjong A Fie yang saat itu berusia 18 tahun menyusulnya ke Sumatra. Pada 1880, Tjong A Fie tiba di Labuhan Deli. Dia Tidak mau tergantung pada kakaknya Tjong Yong Hian yang sudah berhasil dan dikenal sebagai pemuka masyarakat Tionghoa. Dia bekerja di toko kelontong milik Tjong Sui Fo.
Mungkin karena terbiasa menjaga toko milik ayahnya, dia tidak menemukan kesulitan. Dia melayani pembeli, memegang bagian pembukuan, menagih utang, dan pekerjaan serabutan lain. Selama bekerja pada Tjong Sui Fo, dia juga ditugaskan mengantar barang ke penjara sehingga sering mengobrol dengan para narapidana.
Karena pintar bergaul, belakangan Tjong A Fie semakin dikenal. Di Labuhan Deli, dia dipercaya menjadi pengawas kuli kontrak dari Tionghoa.
Dia juga sering diminta menjadi penengah ketika ada perselisihan antara orang-orang Tionghoa maupun dengan pemerintah Hindia Belanda. Saat itu, sering terjadi kerusuhan di kalangan buruh perkebunan Belanda karena latar belakang suku dan etnis sehingga Belanda kerepotan.