Menyusul kekalahan Partai Buruh pada Pemilu 2010, Khan bersama rekan-rekannya harus menduduki bangku oposisi di parlemen. Enam tahun berselang, dia mencari cara untuk menaikkan kembali pamor partainya. Dia pun berhasil mengantongi tiket pencalonan wali kota London dari Partai Buruh.
Pada waktu itu, Wali Kota petahana London dari Partai Konservatif, Boris Johnson (yang kemudian hari menjadi perdana menteri Inggris) sudah dua periode menjabat. Dia tak ingin lagi mencalonkan diri untuk ketiga kali, sehingga tiket pencalonan dari partai tersebut diberikan kepada Zac Goldsmith.
Akan tetapi, Goldsmith tidaklah sekarismatik Johnson. Sementara perolehan suara Partai Buruh di London berhasil mengungguli Partai Konservatif pada Pemilu 2015. Berbagai faktor tersebut mampu membantu Khan memenangkan Pemilihan Wali Kota London 2016.
Menurut Reuters, kemenangan Khan kala itu di luar perkiraan banyak orang. Sebab, sebagian kalangan berpikir bahwa agama Islam yang dianutnya bakal menyulitkannya untuk bertarung melawan Goldsmith—meski sosoknya tak sekuat Johnson.
Pada 8 Mei 2021, Khan kembali terpilih menjadi wali kota London untuk kedua kalinya. Pada waktu itu, dia menang atas rival utamanya dari Partai Konservatif, Shaun Bailey.
Selisih kemenangan antara kedua kandidat tersebut terbilang tipis yakni 55,2 persen untuk Khan dan 44,8 persen suara untuk Bailey.