En 1371, Olivier de Clisson, Connétable de France, entreprend la construction d'un hôtel particulier sur les terrains qu'il vient d'acquérir à l'extérieur des remparts de Philippe Auguste. De ce premier hôtel n'est conservée aujourd'hui que la porte fortifiée avec ses tourelles en encorbellement coiffées en poivrières, donnant sur la rue des Archives.