Mengingat perkembangan tersebut, kemungkinan besar Loji Gandrung baru mendapatkan sebutan dan bahkan mungkin bentuknya yang sekarang ini pada masa awal abad ke-20. Dilihat dari sisi arsitekturnya, Loji Gandrung merupakan bangunan Indis yang memiliki nuansa Neo-klasik Eropa yang cukup megah.
Oleh sebab itu diperkirakan pembangunan Loji Gandrung ini berlangsung di masa keemasan Keluarga Dezentje pada pertengahan hingga akhir abad 19. Setelah sepeninggal Keluarga Dezentje, kemungkinan Loji Gandrung diambil alih oleh pemilik lain atau Pemerintah Kolonial Belanda atau Kasunanan Surakarta, mengingat adanya kebangkrutan dari keluarga tersebut.
Pada masa berikutnya, yakni masa kemerdekaan Indonesia ketika nasionalisasi bangunan kolonial, bangunan Loji Gandrung digunakan untuk kepentingan militer.
Ada versi lain mengenai bangunan itu yang kemudian disebut Loji Gandrung. Ada sumber yang menerangkan nama Loji Gandrung muncul di era kemerdekaan. Bung Karno ketika datang ke Solo dan menginap, menghendaki adanya penampilan dalam jamuan makan malam yang berupa tari Gatutkaca Gandrung yang dimainkan oleh tokoh wayang orang Sriwedari.
Begitu seringnya penampilan tari Gatukaca Gandrung tampil saat Bung Karno menginap di Loji itu, kemudian masyarakat menyebutnya sebagai Loji Gandrung.