Instalado en el barrio de Santiago de Jerez, concretamente en el Palacio Pemartín, construido en el siglo XVIII con valiosos elementos artisticos, entre los que destacan un artesonado mudejar y un patio labrado en piedra.
El edificio se inauguró el 7 de mayo de 1988 como sede institucional de la Fundación Andaluza de Arte Flamenco y en este cuarto de siglo se ha convertido en una referencia internacional para los investigadores y amantes del flamenco.
Actualmente el Centro Andaluz es el mayor centro de documentación del flamenco del mundo y tiene registrados 40.490 fondos reales de todo tipo entre monografías, partituras, material gráfico (folletos, fotografías, carteles, postales), una fonoteca con 20.101 registros y una videoteca con 1.919. De entre todos ellos están digitalizados 16.752 elementos.
El Palacio (inicialmente conocido como Palacio de los Marqueses de La Mesa de Asta) es un destacado exponente de la arquitectura residencial palacial andaluza y uno de los escasos ejemplos de arquitectura bajomedieval con los que cuenta la ciudad.
Conserva como elementos singulares y destacados un sobresaliente alfarje mudéjar, pieza extraordinaria y única en la ciudad, y un interesante patio columnado de ornamentación tardobarroca en el que destacan por su singularidad las metopas pétreas de águilas y serpientes y los arcos en ángulos de los rincones de las galerías que arrancan sobre cabezas de querubines.
Desde el punto de vista funcional el Palacio ha tenido casi exclusivamente dos etapas diferenciadas, la residencial, que en la que se ha mantenido como residencia familiar, y la etapa institucional como sede primero de la Fundación Andaluza de Flamenco y ahora como Centro Andaluz de Documentación del Flamenco.
Su ubicación confiere al edificio, registrado como Bien de Interés Cultural, y a la institución una especial vinculación con el barrio de Santiago, considerado tradicionalmente como una de los focos flamencos más importantes de Andalucía.
