A Ermida Nossa Senhora do Rosário foi edificada, em sua primeira versão, pelo padre Manoel do Rosário por volta de 1705, ou, segundo a outra versão, pelos irmãos Albernaz, os quais chegaram na cidade no ano de 1720.  Ela manteve-se como matriz a partir de 20 de dezembro de 1825.  

Por conta da necessidade de acomodar um espaço maior para abrigar um maior número de fiéis, a Igreja foi derrubada e então construi-se a atual Ermida. No local da antiga Igreja edificou-se um cemitério. Abaixo do chão da Igreja, foram sepultados os negros alforriados que ajudaram a construir a Igreja.

Em relação aos detalhes estilísticos da arquitetura da Igreja, destaca-se o teto da capela-mor em caráter rococó, influenciado por Mestre Ataíde. 

​