Eski Bimarhane 1925'li yıllardan itibaren bir süre Gümrük ve Tekel Bakanlığı emrinde bir tütün deposu olarak kullanılmaya başlandı. İşte o yıllarda külliyede çok büyük tahribat yapılmış ahşap sütunlar tarumar edildi.

1927'ye kadar akıl hastanesi olarak kullanılan külliye, hastane Bakırköy'e taşınınca bir süre boş kaldı. Dönemin Gümrük ve Tekel Bakanlığı tarafından tütün deposu oldukça hor kullandıktan sonra ise meşhur Toptaşı Cezaevi olarak varlığını sürdürdü. 1970'lere kadar hapishane olan külliyeye Necip Fazıl, Nazım Hikmet, Yılmaz Güney, Can Yücel, Nazım Hikmet, Rıfat Ilgaz ve Nihal Atsız, Ahmet Davutoğlu gibi gibi pek çok edebiyatçı ve düşünürün yolu düştü.

Necip Fazıl Kısakürek, Toptaşı Cezaevi'nin müdavimi sayılabilecek bir isimdi. Birçok defa farklı sebeplerden dolayı tutuklanıp hapse konulan Kısakürek, çeşitli davalarda alınan mahkumiyet sonucu 1952, 2957 ve 1960 yıllarında olmak üzere üç defa burada hapsedildi.
Necip Fazıl Cinnet Mustatili: Yılanlı Kuyu'dan isimli kitabında Toptaşı cezaevine girişini şu satırlarla anlatır:

"Sabahın saat 10'u.. Hapishanenin önündeyim. İçinde, unutulmuş insanların hayaletleri gezen bir ortaçağ kalesi… Yanımda zevcem… Kadıköy Savcısı, fikir adamına güya müsamaha gösterdiği için, beraberimizde sivil kılıklı bir memurdan başka kimse yok… Ben "din propagandası" yapmaktan hapse atılıyorum ya; beni teslim ettikleri polis de, beş vakit namazında ve hafız…"

Necip Fazıl, Zindandan Mehmet'e Mektup şiirini burada yazdı.
"Zindan iki hece/Mehmed'im lâfta!/Baba katiliyle baban bir safta!/Bir de, geri adam, boynunda yafta/Halimi düşünüp yanma Mehmed'im!/ Kavuşmak mı? Belki... Daha ölmedim!"

Yılmaz Güney de Toptaşı Cezaevi'nin hapsedilen isimlerden biriydi. Cezaevinde güne jimnastik yaparak başlayan Güney, sık sık 'Kahrolsun tembellik!' sloganını tekrarlatarak, mahkumların sabahı dinç karşılamasını amaçlardı. Slogan tekrarı, Güney'in önderliği tutuklu ve hükümlülere hoş gelir, canla başla katılımlarını sağlardı. Güney ayrıca Sürgün filminin senaryosunu da burada yazdı.