Castro Marim is gelegen aan de vallei van de Guadiana rivier. Men heeft zicht op de aan de overkant gelegen Spaanse stad Ayamonte. Castro Marim bestond al ten tijde van de Romeinse overheersing. De ruines van het kasteel staan aan de noordkant van de stad terwijl de overblijfselen van het 17e eeuwse Forte de São Sebastião op de heuvels aan de zuidkant liggen.
Het gebied ten zuiden van de stad is een natuurreservaat.
