La paroisse de Gagny s’est sans doute constituée autour du prieuré de Saint-Fiacre, fondé à la fin du XIe siècle par Adèle, fille du comte Raoul II de Crépy et de Valois. Ce prieuré, à l’origine placé sous l’autorité de l’abbaye bénédictine de Saint-Faron de Meaux, était situé au centre du village. Il fut déplacé en 1654 à Maison Rouge. Les sources montrent que les revenus du prieuré étaient fort modestes, du moins jusqu’au XVIIe siècle.
Le Gagny du Moyen-Âge comprend plusieurs seigneurs possédant des terres et des censives sur le territoire actuel de la commune, parmi lesquels les célèbres Templiers, dont les possessions passèrent aux chevaliers de Malte à la dissolution de l’ordre en 1312. Ceux-ci demeurèrent possesseurs des biens fonciers acquis plus de 5 siècles auparavant, avant de voir ceux-ci séquestrés à la Révolution.
Notons que les terres situées au Chénay ne dépendaient pas alors de Gagny mais du prieuré de Gournay-sur-Marne, leur donation par un particulier audit prieuré s’étant produite en 1122. Il comprenait, en 1791, 448 arpents (environ 250 hectares) et fut démantelé également à la Révolution.
Au XVIIe siècle apparaît un seigneur laïc d’importance, Dominique de Ferrary (ou Ferrari), qui parvient peu à peu à constituer un domaine d’un seul tenant via des achats de terres aux paysans locaux. Ce richissime homme d’affaires constitua progressivement un domaine, à partir de 1632. Ce dernier était constitué d’un château et d’un jardin à la française, peut-être réalisé par André Le Nôtre, jardinier du roi Louis XIV. Ce domaine fut officiellement érigé au rang de châtellenie par lettres patentes de Louis XIV en 1671. C’est lui encore qui en 1654 contribuera au déménagement du prieuré vers Maison Rouge, en procédant à un échange avec le prieur d’alors, Pierre de Bellièvre. Ferrary était si bien en vue auprès de la cour, que, à l’instar de nombreux grands seigneurs de son temps, il n’hésitait pas à subordonner le bien commun à ses propres intérêts.
Pour offrir à son château l’avant-cour qu’il méritait, il fit dévier la grand’rue (l’actuelle avenue du Général Leclerc), lui faisant faire un coude, au grand dam de ses voisins, parmi lesquels le Grand-Prieur de l’ordre de Saint-Jean de Jérusalem, Philippe de Vendôme.
A la mort de Dominique de Ferrary en 1690, le domaine devint la propriété de sa fille Madeleine, épouse de Jean de Billy. A la mort de ce dernier en 1703, le domaine devient propriété de Jacques de Billy, fils de Jean. Puis, en 1706, le domaine fut finalement vendu à Joseph Blondel, dont le fils Augustin, dit Blondel de Gagny était un collectionneur d’art réputé. Jean Gaillard de la Bouexière se rendit acquéreur de la seigneurie en 1725. A sa mort en 1759, le domaine fut transmis à son petit-fils Jean-Hyacinthe-Emmanuel Hocquart, futur marquis de Montfermeil. Peu intéressé par Gagny, il fit détruire le château de Dominique de Ferrary en 1765.
Quant au prieuré de Maison-Rouge, il passa en location à La Bouexière, en 1749, puis au petit-fils de ce dernier, Hocquart, marquis de Montfermeil. Le prieuré disparut définitivement en tant que tel 1771, mais la maison du prieur, plus tard dénommée château de Maison Rouge, survécut jusqu’en 1955.