In Alles waar ik spijt van heb keert de verteller terug naar de plaats van zijn jeugd, een stadje in het noorden van Frankrijk, om zijn moeder te begraven. Gedurende de drie dagen die hij in het plaatselijke hotel, het mortuarium, de kerk en de kleine straatjes van het stadje doorbrengt, gaat hij terug naar zijn kinderjaren en denkt hij vooral aan zijn geliefde moeder. Waarom heeft hij haar op zijn zestiende verlaten? Andere herinneringen komen ook weeraan de oppervlakte: herinneringen aan zijn dominante grootouders en aan zijn vader die in een verre oorlog gestorven zou zijn. Wanneer hij een enveloppe in handen krijgt, beseft de verteller dat die waarschijnlijk de waarheid over zijn jeugd bevat.