En 1552 el regidor Juan de Amaya el Viejo y su mujer fundan el convento de Ntra. Sra. De la Concepción para enterramiento propio, previo convenio los franciscanos abandonan el convento sacando el santísimo sacramento en solemne procesión y llevándolo a la iglesia de Ntra. Sra. De clarisas, extramuros de Vejer. A partir de esta fecha toma el nombre de San Francisco. Lo que hoy es el Hotel San Francisco fue construido en el último tercio del siglo XVII, su estilo arquitectónico es el barroco y es una típica iglesia conventual de estilo cajón.
Con la desamortización de Medizábal una buena parte del convento fue vendido y tras muchos años en ruina, en la postguerra fue derribada su parte trasera, con su magnífico patio porticado, para construir en él un cine, y la plaza de abastos actual, separados por la denominada calle Cádiz.
Conserva un mosaico romano del siglo II, en la recepción y frescos de la antigua iglesia del Convento en la cafetería.