La residenza-fortezza di Sigismondo Pandolfo Malatesta, signore di Rimini dal 1432 al 1468, coniugava l'intento celebrativo con l’esigenza difensiva. La demolizione degli edifici fra il Castello e la piazza comunale ne accentuò la posizione dominante e la mole malatestiana primeggiò sulle sedi del potere civile e religioso.

La fortezza si imponeva per la possanza di torri e mura munite di scarpate, per l'ampio fossato, per la grandiosità del mastio che, intonacato di bianco, si stagliava contro il rosso della torre d'ingresso. L’apparato difensivo, approntato con la consulenza di Filippo Brunelleschi, era dotato di bocche da fuoco.

Il castello, come evidenziato dai restauri, inglobava le mura romane con torri, la medievale porta del Gattolo, il nucleo delle case e dei palazzi malatestiani. Sigismondo tuttavia nell'iscrizione sul portale d'ingresso rivendica a sé la costruzione ex fundamentis. I lavori, iniziati nel 1437, si protrassero per circa 15 anni, anche se dal 1446 la residenza risulta abitata.

Oggi non resta che il nucleo centrale della costruzione originaria rappresentata nelle medaglie di Sigismondo e nell'affresco di Piero della Francesca nel Tempio. Il portale d'ingresso è tuttora sormontato da un'iscrizione e dallo stemma con l'elefante, la rosa e la scacchiera, simboli della Famiglia.

Divenuto fortezza pontificia, dal XVII secolo subì profonde modifiche: l’abbattimento della cinta muraria, il riempimento del fossato e lo spoglio degli arredi. Carcere dal XIX secolo fino al 1967, dagli anni ’70 è stato interessato da un complesso lavoro di restauro, su progetto dell'architetto Carla Tomasini Pietramellara, sostenuto, nell'ultima fase, dalla Fondazione CARIM.