Pada 1934 hingga 1963, Alcatraz digunakan sebagai penjara federal untuk sejumlah tahanan sipil paling berbahaya. Di antara penjahat terkenal yang ditahan di Alcatraz adalah Al Capone, mafia paling terkenal dalam sejarah kriminal AS, bahkan dunia.
Selain Al Capone, penjahat lainnya yang pernah mendekam di penjara angker itu adalah George “Machine Gun” Kelly yakni pada 1930-an.
Selain itu ada pula gangster Alvin "Creepy Karpis" Karpowicz yang dianggap musuh publik nomor 1 oleh pada 1930-an yang menghabiskan masa tahanan selama 25 tahun.
Penjara Alcatraz memiliki empat blok. Blok A dan D digunakan untuk mengurung tahanan yang suka memberontak.
Sedangkan blok B dan C untuk napi pendiam. Selain itu di bawah blok A terdapat sebuah ruangan bawah tanah yang dikenal sebagai Spanish Dungeon.
Banyak kabar menyeramkan yang beredar mengenai penjara Alcatraz ini. Menurut Alcatraz History, delapan napi dibunuh oleh sesama penjahat di Alcatraz. Kemudian lima napi tewas bunuh diri karena tak kuat dengan buasnya penjara.