Dit stadje bewijst dat de vissers van de Algarve ook na de overheersing van de Moren nauwe betrekkingen bleven onderhouden met het Afrikaanse continent. Want wie de oude stadskern van Olhao ziet waant zich in een kashba ergens in Marokko. Smalle steegjes en vierkante witte huisjes domineren het stadsbeeld.
Op de dakterrassen van de huizen zijn vaak weer andere kubusvorming bouwsels geplaatst die door middel van een buitentrap met het onderste gedeelte verbonden zijn.
Toch ontstond het stadje pas aan het einde van de 16e eeuw, toen de Moren al een paar eeuwen verdwenen waren.
Een mooi uitzicht op het curieuze stadscentrum van Olhao heeft u vanaf de toren van de Igreja de N.S. do Rosário.