La tour Saint-Jacques est l'unique vestige de l'église Saint-Jacques-la-Boucherie, dont le nouveau clocher est construit entre 1509 et 1523.