Il Palazzo della famiglia Conti si trova all’ingresso del centro storico di Segni, il vasto complesso architettonico, costruito probabilmente in epoca medievale, include anche Porta Maggiore: la porta ingresso monumentale all’antica Signia.
Della struttura medievale è rimasto ben poco, fatta eccezione per un tratto di muratura ancora visibile in via dell’Asilo e per i resti di una torre quadrata a destra di Porta Maggiore. L’edificio fu danneggiato nel 1557, dalle truppe di Marcantonio Colonna, che invasero e saccheggiarono Segni. Il restauro del palazzo fu fatto eseguire da Alessandro Conti Sforza, nipote di Fulvia Conti e di Mario Sforza (da cui nacque il ramo dei Conti Sforza), eletto da papa Sisto V Duca di Segni.
Lo acquistò il Vescovo di Segni, Biagio Sibilia, per conto di Leone XIII, che nel 1887 lo affidò alle suore di Santa Giovanna Antida perché vi educassero la gioventù femminile.