W latach 1939–1944 Pawiak był największym niemieckim więzieniem politycznym na terytorium okupowanej Polski. Według szacunków historyków od 2 października 1939 do 21 sierpnia 1944 przez Pawiak przeszło ok. 100 tys. osób, z czego ok. 37 tys. zostało zamordowanych, a ok. 60 tys. wywieziono w 95 transportach do obozów koncentracyjnych oraz innych miejsc odosobnienia.
Więzienie zostało zniszczone przez Niemców podczas powstania warszawskiego w sierpniu 1944. Nie zostało odbudowane, a w latach 50. przez jego teren przeprowadzono aleję Juliana Marchlewskiego (obecnie aleja Jana Pawła II).