Pria yang memiliki nama asli Phang Djoem Phen ini lahir pada 13 Mei 1944. Orang tuanya bernama Phang Siu On, keturunan Tionghoa dan bekerja sebagai pedagang karet.
Namun, karena perekonomian keluarganya yang terbatas membuat Prajogo hanya mengenyam pendidikan sampai SMP. Hal ini menyebabkan Prajogo sejak remaja bekerja serabutan dan pernah menjadi sopir angkutan umum jurusan Singkawang-Pontianak.
Profesinya sebagai sopir angkutan ini malah mengantarkannya bertemu dengan Bong Sung On atau Burhan Uray, pengusaha kayu dari Malaysia, yang membuatnya mengenal dunia usaha perkayuan.
Dia kemudian memutuskan bergabung menjadi karyawan di perusahaan milik Burhan, PT Djajanti Grup pada 1969. Hanya dalam jangka waktu tujuh tahun, Prajogo mendapat kepercayaan dan diangkat menjadi general manager (GM) Pabrik Plywood Nusantara di Gresik.
Setelah satu tahun menjabat GM, Prajogo memutuskan keluar untuk membangun bisnis perkayuan sendiri dengan meminjam modal dari bank. Pada 1970, Prajogo membeli sebuah perusahaan yang sedang krisis finansial, yakni CV Pacific Lumber Coy, yang merupakan cikal bakal Barito Pacific Timber.