El Palacio de los Gobernadores es de arquitectura civil neoclásica y data del siglo XVIII, fue sede de la Comandancia Militar de la zona de Gibraltar hasta el siglo XIX y se dice que muchos de los ataques durante los asedios a la Roca se planearon aquí. Actualmente acoge la Fundación Municipal de Cultura “Luis Ortega Brú”. En principio este edificio fue conocido por Casa de Berlanga, ya que el 6 de septiembre de 1768, Juan Berlanga Avilés, teniente general de los Reales Ejércitos y su esposa María Martínez España, lo adquirieron a Juan Arcadio y su esposa, María Machado. Situado en la Plaza de la Iglesia, conocida antes como Plaza de las Verduras, debido a que el mercado se instalaba aquí. La fachada principal da a la calle Rubín de Celis.
Actualmente alberga dos museos (Museo Arqueológico de Carteia y Museo Luis Ortega Brú), la Galería Municipal de Arte “Luis Ortega Brú” con exposiciones itinerantes, dos salas de pintura permanentes (de Daniel Castilla Zurita y José Cruz Herrera), además del Pendón de Gibraltar (1502), bordada por Juana la Loca y El Éxodo, bajorrelieve del escultor sanroqueño Luis Ortega Brú que representa a los gibraltareños españoles marchándose del Peñón en 1704.
