Punane torn ehitati 15. sajandil uue linnamüüri kagunurka. Oma nime sai ta punastest tellistest laotud välis- ja sisevoodri järgi. Torni ülemised korrused olid kohandatud linnavahtidele ja palgasõduritele, eraldi sissepääsuga alumises osas hoiti kinni mitmel põhjusel vangistatud isikuid. Torni teine nimi keskajal oligi Vangitorn.
17. sajandi lõpus bastionaalvööga ümbritsetud kindluslinnas kadus Punase torni sõjaline tähtsus. Võlgnike kinnipidamise tõttu kasvas 18. sajandil vangide arv ja asuti laiendama linnavanglat. 1783. aastal sai ehitusmeister Hoyeril valmis barokse vanglahoone projekt, mille järgi Punase torni ülemine kaitsekorrus lammutati ja teine korrus kaeti kõrge katuse ning võlvlaega. Niiske vangikeldri asemele ehitati kongid torni esimesele korrusele ja tänaseks lammutatud juurdeehitusse.
1892. aastal valmis Pärnus riiklik vangla ja torni juurdeehitused lammutati. Järgmisel aastal asus Punasesse torni linnaarhiiv, mis aga 1907. aastal kolis uutesse avaratesse ruumidesse. Torni renditi välja laoruumidena, kuni 1972. aasta kapitaalremondiga anti talle tänane kuju. Kasutusele plaaniti võtta ka katusealust korrust, kuid see teostus alles 2020. aastal. Täna saab endisel kaitsekorrusel kaasa elada ümbruse muutumisele läbi viimase 15 000 aasta, alates viimasest jääajast.