De 1534 a 1637 la población crece en casi toda la provincia pero no en San Miguel.

El pueblo fue saqueado muchas veces pues las continuas y productivas expediciones cargadas de riqueza que arriban desde América a los puertos andaluces, atrajeron a estas una porción de piratas que fueron el terror de los marinos y que atacaban a las indefensas poblaciones, y también a ciudades como Cádiz y Gibraltar.

Por este motivo Felipe II mandó organizar la defensa de las costas con la construcción de fortificaciones; una en Punta Umbría y otra junto a la Laguna del Portil.

Conformaba calles que discurrían paralelas a la orilla de la ría del Piedras.

En la cumbre de dicha colina, donde hoy se sitúa el hotel Fuerte del Rompido y anteriormente se ubicaba la Casa del Castillo de San Miguel, se emplazaba la fortaleza y la iglesia parroquial, con su cementerio, que ha salido a la luz en unas recientes excavaciones.[¿cuándo?]