Jacques Le Pelletier, fils d’une riche famille de commerçants originaires de Provence, acquiert en 1481 le fief de Martainville, alors composé de 25 hectares. Armateur mais aussi échevin de la ville de Rouen, Jacques Le Pelletier est en quête d’un statut social plus enviable et plus noble. C’est en partie pour cette raison qu’il décide d’entreprendre la construction d’un château sur cette terre. La date de 1485 gravée sur la clef d’une fenêtre de la tour sud atteste de la période de son édification qui s’achèvera vers 1495.