L’edificio fu detto Villa Olgiati poi Doria (fig.1) dallo storico della città di Roma Mariano Vasi, che nel 1791 ne descrisse gli affreschi nella convinzione che fosse stata la casa di Raffaello: a suo dire, perciò, era stato edificato ancora prima del Sacco di Roma del 1527. Nei secoli fu restaurato e ridimensionato a più riprese e l’intervento più consistente, con ogni probabilità, dovette essere successivo ai moti del 1848 (Lancellotti 1862; Spada 1869). Almeno a considerare da quando, alla fine del Cinquecento, il terreno circostante la Casa era stato acquistato dal Cardinale Scipione Caffarelli Borghese e, a partire dal 1606, era divenuto limitrofo alla nuova Villa da lui fatta costruire a Porta Pinciana, che alla metà del Seicento avrà avuto almeno tre recinti di parco. A quella data, come la stessa Villa Borghese e il Casino detto Giustiniani nel medesimo circuito verso la via Flaminia, dove si estendeva la tenuta Borghese della via Traversa, fu in parte sventrato durante l’assedio dei francesi a Porta Pinciana. L'assenza di rovine nell'area farebbe ritenere che anche questo Casino venisse poi restaurato, al pari della villa grande e di pochi altri edifici gravemente danneggiati nella circostanza, e che lo fosse a sua volta ad opera di Luigi Canina. Non minore rilievo ebbe l'apertura nel Novecento della loggia coperta al secondo piano - al piano inferiore esistente nel 1700 (Domenico Montelatici, 1700) fino al 1848 - documentata dalla fotografia storica. Acquisito dal Regno d'Italia nel 1861, solo nel 1909 il fidecommisso ereditario passò allo Stato italiano, divenendo bene pubblico.
