Dins l'eclecticisme romàntic del temps, és enllestida la torre del palau del Comte de San Simón, en el carrer de Sant Jaume, encara que l'edifici, sobre una casa d'origen medieval, no fou acabat fins el 1856. Diu el professor Santiago Sebastián que «és una llàstima a causa de l'estretor del carrer que no pugui destacar amb tota la seva monumentalitat la gran façana neopaladiana». La torre, en canvi, magnífica, de cinc pisos, sí que domina tots els voltants, ben visible des del carrer de la Cavalleria i de tots els racons del barri, amb la seva magnífica estampa italianitzant.

La història és aquesta: A començaments del segle XIX es casen Josepa d'Orlandis amb Lluís de San Simón i passen a viure a la casa, encara antiga. Fill del matrimoni, Lluís de San Simón encarrega a Miquel Ferrà i Font la construcció del nou edifici. És remarcable també el pati (1852) i l'escala imperial de marbre de Carrara.

Però tornem a la qüestió de la torre, que sembla que substituí un torrelló molt antic. Observant el plànol de Ciutat de Mallorca de 1644, observam, sobre moltes cases del recinte murat, nombroses torretes, moltes ja desaparegudes, i altres, avui, reconstruïdes dins la tendència eclecticista ja esmentada. En podeu veure una ben arabitzant en el carrer de la Concepció, un altre estil granadí a la plaça de Santa Catarina Tomàs, la de Cal Bisbe... Tot això té per motiu aquella tradició medieval de les ciutats-república italianes, quan les guerres de clans familiars, com aquella dels Montesco i Capuletto veronesos immortalizada per Shakespeare. La capital mallorquina visqué també moltes d'aquelles batalles de capa i espasa, els Armadams contra els Espanyols, els Canamunts i Canavalls... La torre era el testimoni de la supervivència familiar, el punt elevat des d'on es dominaven carrers i carrerons de la zona, el lloc des d'on es podien atalaiar els moviments de l'enemic.

L'historiador Daniel Waley dedicà un dels seus llibres al tema. I així reprodueix un fragment de la crònica d'un genovès en què podem llegir: «Els Volta i el seu partit construïren un arma nova i molt poderosa. Dirigiren una espingarda de fusta contra la torre d'Oberto Grimaldi i la torre nova d'Oberto Spínola. Així, a la vista de tothom, feren un forat a la nova torre de Bulbunoso, que està en el creuer de San Siro. Així doncs enderrocaren bona part de la torre. Aleshores arribaren els homes del tribunal de l'arquebisbe i armaren una màquina dins l'hort de San Siro amb la qual llançaven moltes pedres contra les cases i torres d'Oberto Grimaldi i de la família Spínola. Llavors aixecaren altres màquines i l'altre bàndol en construí també moltes i disparà moltes pedres contra les cases i torres de l'altre partit...». No és menys gràfic el fragment d'una altra crònica d'uns fets esdevinguts un segle després: «Els Negres havien fortificat la torre dels fills de Misser Jacobo, la qual feia gran dany els fills de Missèr de Lazzari... Aquesta casa atacava, doncs, el partit Negre amb ballestes i pedres, i no els permetia d'estar en el carrer per combatre. Veient els Negres que així els agredien els infants que hi havia en aquella casa, Vanni Fucci amb uns companys seus féu la volta a l'edifici i l'atacà amb ballestes i la va vèncer amb el foc, i cremada per un costat, entraren ells per l'altre. La gent que hi havia dedins començà a fugir, i els altres els seguiren, ferint-los i matant-los, i robaren tot el que hi havia a la casa i la torre... i després cadascú tornà a ca seva. Aquell dia l'honor es quedà en el bàndol Negre...»