Awalnya jembatan tersebut diberi nama Jembatan Bung Karno, sebagai ungkapan terima kasih kepada Presiden Soekarno yang telah mendukung dan berjuang untuk mewujudkan pembangunan jembatan yang menghubungkan Palembang Ilir dengan Palembang Ulu.
Namun kemudian, tidak lama setelah diresmikan terjadi pergolakan yang berujung anti Soekarno. Akhirnya jembatan tersebut berubah nama menjadi Jembatan Amanat Perjuangan Rangkat (Ampera), sebuah slogan yang sering disampaikan dalam aksi aktivis saat itu.
Rencana pembangunan jembatan untuk menyatukan Palembang yang dibelah Sungai Musi sebenarnya sudah ada sejak masa penjajahan Belanda sekitar tahun 1924. Namun hingga Belanda meninggalkan nusantara jembatan tidak kunjung dibangun dengan berbagai kendala, salah satunya krisis keuangan yang membuat Belanda menghentikan semua proyek besar termasuk jembatan di Sungai Musi.
Kemudian pada awal kemerdekaan, gagasan membangun jembatan ini kembali muncul. Pemerintah daerah bersama tim berangkat ke Jakarta menghadap Presiden Soekarno untuk mengusulkan pembangunan jembatan di atas Sungai Musi.
Presiden Soekarno memberikan dukungan dengan syarat dibangun taman di sekitar jembatan, yang salah satunya dikenal dengan Taman Nusa Indah. Dalam proses pembangunannya, beberapa bangunan peninggalan Belanda di bagian ilir serta rumah warga di bagian ulu terpaksa dibongkar.