Gedung ini memiliki fungsi awal sebagai bangunan penampungan air bersih (Watertoren) bagi penduduk kota Palembang, terutama untuk orang-orang Belanda yang bermukim di sekitar gedung tersebut.
Gedung wali kota ini memiliki ciri arsitektur kolonial khas yang banyak dijumpai pada bangunan-bangunan kolonial yang lain di nusantara. Arsitektur bangunan wali kota dibangun dengan gaya atau style yang dikenal dengan nama de stijl.
Gaya arsitektur bangunan ini dipengaruhi bentuk kubus dan mempunyai ciri bentuk dasar kotak dan beratap datar. Ciri de stijl terlihat jelas pada bangunan wali kota yang berbentuk kotak dan beratap datar. Gedung wali kota merupakan bangunan bertingkat dan cukup megah di antara bangunan-bangunan lainnya.
Hal ini terlihat dari tinggi bangunan 35 meter dan mampu menampung air sebanyak 12.000 meter kubik. Pada bagian depan terdapat enam pilar atau tiang yang berdiri di atas umpak terbuat dari beton.
Pada bagian depan dindingnya tersusun dari batu alam (andesit). Tampak depan bangunan memiliki tiga pintu. Pada saat ini hanya pintu bagian tengah yang difungsikan sebagai pintu utama. Bentuk pintu ini berdaun ganda dan diberi tralis besi. Pada bagian depan gedung ini mempunyai façade berupa kolom-kolom berbentuk kotak yang membujur dari atas ke bawah serta terdapat jendela dengan hiasan kaca patri.