W latach 1939-1941 w budynku mieściło się Więzienie Nr 1 (Тюрьма № 1) na 1500 osób, a przyległy korpus przejął miejscowy zarząd NKWD. Po ataku Niemiec na ZSRR w czerwcu 1941, w trakcie masakr więziennych NKWD, funkcjonariusze NKWD rozstrzelali w więzieniu 924 więźniów, m.in. generała Tarnawę-Malczewskiego, Jana Nalborczyka i Rudolfa Regnera.

Za okupacji niemieckiej, w latach 1941-1944 w budynku mieściło się więzienie śledcze Gestapo, również grupa specjalna SD. Dziedziniec więzienny wyłożono płytami z grobów najstarszego cmentarza żydowskiego we Lwowie. W więzieniu Niemcy zamordowali m.in. Józefa Parnasa i zastępce komendanta Inspektoratu Lwów Miasto mjra Wiktora Zarembińskiego, przebywał w nim Kazimierz Bartel.