A l’époque des épidémies, la peste ravagea le village de Vétheuil. L’épidémie était tellement effrayante que le drapeau noir, en signe de deuil, fut arboré sur le clocher de Notre-Dame de Vétheuil. On pria Marie, consolatrice des affligés, et la peste cessa … Dès lors le pèlerinage à Vétheuil pour la guérison des maladies des adultes et des enfants devint de plus en couru. Et Notre-Dame de Grâce fut l’objet d’une ferveur telle qu’il fallut envisager l’agrandissement du lieu devant l’afflux de pèlerins.
En venant du village, les pèlerins accédaient à l’église par un escalier majestueux de 50 marches de 5 mètres de large et surplombé par un calvaire renaissance. Les jours de fête mariale, la foule envahissait la petite église qui devait refuser l’accès à de nombreuses personnes.
Les archives ayant disparu, nul ne sait comment ont été financés les travaux d’agrandissement. L’église disposait de fonds importants, chaque pèlerin devant s’acquitter d’une aumône, mais étaient-ils suffisants ? L’abbaye de Fécamp et les seigneurs de Vétheuil ont pu également financer cet agrandissement.