Para ello compró un corte de terreno apreciable en Merced, también conocida por la gente como la Calle de los Condes Cruzados, dado que en ella se emplazaban las mansiones de las familias de mayor alcurnia.

Decidió encargarle la pega al arquitecto portugués Joseph de la Vega, no sin antes conseguirse un suculento préstamo con su suegra.

Como las cosas no suelen ser llanas, ni siquiera para los hombres de rango, la construcción se vio varias veces interumpida, por desavenencias de don Mateo con la madre de su esposa, quien le cobraba con intereses la plata prestada, haciéndole inviable la edificación.

Con todo, la obra se concluyó en 1779, cuando don Mateo pudo colocar sobre la fachada el escudo de armas de la nobleza adquirida por sus servicios a la Corona Española y el pago de unos miles de reales en las arcas de la misma.

El palacete fue el único dotado de fachada de ladrillo recubierta de piedra en su primer nivel y levantada en dos pisos de altura. Contaba, además, con dos patios: El primero dedicado a las cosas públicas y comerciales, y el segundo, a la vida privada de la familia. Adquirió el nombre de Casa Colorada cuando fue cubierta su fachada con revoque rojo, en 1888.