Al Sharaa ditangkap oleh pasukan AS di Irak pada 2006 dan ditahan selama 5 tahun. Setelah bebas, Al Sharaa ditugaskan untuk mendirikan cabang Al Qaeda di Suriah yang diberi nama Front Al Nusra, memperluas pengaruhnya di wilayah yang dikuasai oposisi, terutama Idlib.
Di tahun-tahun awal dia banyak berkoordinasi dengan Abu Bakr Al Baghdadi, pemimpin ISIS di Irak. Pada April 2013, Al Baghdadi mengumumkan kelompoknya memutuskan hubungan dengan Al Qaeda dan akan memperluas wilayah ke Suriah.
Ekspansinya itu secara efektif memasukkan Front Al Nusra ke dalam kelompoknya. Namun, Al Sharaa menolak beragung dan mempertahankan kesetiaannya kepada Al Qaeda.
Dalam wawancara dengan Al Jazeera pada 2014, Al Sharaa menyampaikan Suriah harus diperintah berdasarkan interpretasi kelompoknya yaitu tentang 'hukum Islam', dan kaum minoritas di negara itu, seperti Kristen dan Alawi, tidak akan diakomodasi.
Namun dia banyak berubah setelah itu. Pada tahun-tahun berikutnya, Al Sharaa menjauhkan diri dari proyek Al Qaeda untuk bertujuan mendirikan "kekhalifahan global" di semua negara mayoritas Muslim. Dia juga lebih fokus untuk pembangunan kelompoknya di dalam Suriah.