Po śmierci Lubarta dokonano zasadniczej rozbudowy z inicjatywy księcia Witolda w latach 1392-1430 i następnie Świdrygiełły w latach 1430-1432. Wtedy też zbudowano dwie kolejne wieże i zamknięto murowany obwód obronny.