Tanger 1955. A l'âge de vingt ans le narrateur Robert Vitry regagne sa ville natale qu'il avait quittée tout enfant avec son père, mort entre-temps à Paris : il y est réclamé d'urgence par sa mère qui a besoin de lui pour administrer leur immense fortune. Car la révolution nationaliste éclate en plein coeur de la cité du faste mondain international et de l'affreuse misère du peuple, l'atmosphère étant souillée par le vice, la prostitution et le jeu mais dominée par la splendeur baroque des plus riches émigrés du monde parmi lesquels Barbara, l'Américaine dont le yacht est ancré au large de la côte.
Nourri par ses souvenirs heureux de petit garçon, Robert Vitry entreprend l'exploration d'une ville en fureur que les milliardaires fuient les uns après les autres. Il se lie d'amitié avec Paolo le jeune révolutionnaire qui se fait tuer lors d'un attentat. Et c'est à travers le regard extraordinairement lucide de Robert que se compose ainsi, progressivement, l'authentique roman d'une ville en perdition.
Un jour, le peuple des exilés s'aperçoit avec frayeur que le yacht de Barbara a déserté le port. Certains organisent alors leur départ. Mais beaucoup vont rester, continuant à parler du vent, des attentats, des arrivées ou des départs. Le narrateur, lui, s'en va à jamais. Il n'a été qu'un témoin, le temps d'un été.