Le fasi più antiche del Palazzo Episcopale, ancora oggi visibile lungo l’attuale via Rossi, possono datarsi attorno al XII – XIII secolo, come si presume dalla muratura rinvenuta sotto l’intonaco moderno, recuperata in seguito a recenti lavori di ripristino e riadattamento della struttura, tanto all’esterno che all’interno, in alcune stanze del palazzo. Oltre al tessuto murario in blocchetti di calcare, comune agli altri edifici medievali conservati nel centro storico della città, sono emerse anche numerose bifore, alcune visibili su questo lato della strada, diverse tra loro per stile e decorazione.
La Diocesi di Segni è attestata a partire dal 499, anno in cui il vescovo Santulo fu chiamato a sottoscrivere nel sinodo romano, indetto da papa Simmaco. La Diocesi comprendeva, oltre la città di Segni, anche i territori degli attuali Comuni di Artena (Montefortino), Colleferro, Gavignano, Montelanico e Valmontone, rimase sede di Diocesi fino al 1986, quando fu poi unita a quella di Velletri.