Menurut salah seorang budayawan Semarang, awalnya Pasar Johar ini terletak di depan penjara timur alun-alun Kota Semarang dan dipakai pedagang melayani keluarga tahanan saat menunggu jam besuk di bawah deretan pohon Johar.
Pohon ini juga konon merupakan pohon pemberian Sultan Pandanaran. Baru pada tahun 1900an, pemerintah melakukan penggabungan pasar-pasar lain ke Pasar Johar karena mulai ramai saat itu hingga bangunan penjara dan pohon-pohon tersebut pun berubah seiring zaman.
Arsitektur Belanda saat itu, Thomas Karsten mendesain Pasar Johar pada tahun 1933 dengan memperhatikan kondisi iklim, sirkulasi udara dan cahaya matahari.
Pada tahun 1955, Pasar Johar dijuluki pasar terbesar dan tercantik di Asia Tenggara. Pedagang yang berjualan pun berasal dari beragam etnik, mulai dari Arab, India, Jawa, Madura, Minang, Batak dan lain-lain.
Dia mengatakan renovasi Pasar Johar telah direncanakan sejak tahun 2018. Namun sempat terhambat akibat pandemi Covid-19.