C'est, semble-t-il, au 5ème siècle que les Burgondes construisent cette forteresse dont il subsiste aujourd'hui des vestiges qui témoignent de son importance : un donjon de 25 m de haut, une muraille de 45 m et 120 m de remparts.
Au 10ème siècle, les Rodolphiens restaurent Château-Vieux et édifient Château-Neuf. Au coeur de leurs remparts, les deux forteresses abritaient un bourg, un donjon et une chapelle. Les bourgs se trouvaient en retrait par rapport aux fortifications pour épargner aux habitants les méfaits des bombardements de l'adversaire. Le bourg de Château-Vieux fut définitivement abandonné au début du 14ème siècle.
Au fil des siècles, le château a appartenu à la famille d'Allinges (une des plus importantes du Chablais), aux sires de Faucigny, puis au dauphin de Viennois et enfin à la Maison de Savoie.