En 1354, Amédée VI inféode le fief des Allymes à l’un de ses trésoriers, Nicod François, un de ses nombreux créanciers qui doit toutefois débourser la somme de 2000 florins d’or pour en obtenir l’introge. Le comte se réserve le droit de reprendre le château en cas de besoin, ce qu’il fera en 1362-1364. Mais en réalité, l’ancienne forteresse voit son quotidien devenir paisible, siège d’une petite seigneurie rurale dont l’architecture semble prendre au fil du temps un caractère toujours plus résidentiel. Nous n’avons pas d’archives sur les bâtiments construits et il ne reste rien du corps de logis qui a du être bâti alors.
En 1477, par mariage, Claudine 
François apporte la seigneurie des Allymes à son époux Humbert de Lucinge, issu d’une lignée plus importante. L’arrivée du bien dans cette famille puissante valut de nombreux soucis au bâtiment. Au siècle suivant, les rois de France annexent une première fois les terres savoyardes (1536-1559). Le seigneur des lieux, Charles de Lucinge, reste fidèle au duc de Savoie, échafaudant divers complots qui le forcent à fuir ses terres en 1557. Le sénat de Savoie, aux ordres du roi de France, décide de le punir en détruisant le château. Le duc de Savoie retrouve ses terres dès 1559, et le château ne semble pas avoir été complètement détruit. Des lettres du fils de Charles, René de Lucinge (1553-1624), attestent de destructions et de ses travaux de restauration effectués à la fin des années 1580. L’escalier à vis en bois du logis qui permet l’accès aux étages supérieurs en témoigne encore : une étude dendrochronologique a révélé que son fût central en chêne avait été coupé au printemps 1565. Les études archéologiques récentes menées parallèlement aux restaurations attestent cette chronologie pour la restauration du haut de la tour carrée dont la charpente date en partie de la fin du XVIe siècle.
René de Lucinge fut le seigneur des lieux le plus célèbre, laissant le nom de monsieur des Allymes à la postérité en signant le traité de Lyon (17janvier 1601) pour le duc de Savoie. Ce document fut signé entre les représentants 
du roi de France Henri IV et ceux du duc de Savoie Charles-Emmanuel Ier établissant la souveraineté du roi de France sur les terres de Bresse, Bugey, Valromey et Pays de Gex. René de Lucinge fut célèbre en son temps par ses écrits et réflexions historiques, comme par sa carrière diplomatique. Il connut la disgrâce, suite à la signature du traité de Lyon, et sa famille perdit le château quelques décennies après sa mort.
Entre le milieu du XVIIe siècle et le milieu du XIXe siècle, le château change de mains trois fois, passant à des propriétaires qui ne sont plus résidents (les familles Suduyraud, Estienne et Dujast) mais emploient des fermiers qui habitent dans un bâtiment qui est devenu un simple corps de ferme. En 1793, au plus fort de la période de destructions des clochers et des tours, il est question de raser ce qui est considéré comme un symbole de l’obscurantisme féodal, mais il n’en sera finalement rien.