La paisible vie de l’ancien village de Glérolles se termine brusquement en 563 de notre ère lorsqu’un raz-de marée déferle sur les rives du Léman et annihile les lieux qui renaîtront sous le nom de Saint-Saphorin. Seul le château porte encore le nom de la bourgade romaine victime de la catastrophe, Glerula (en latin glarea signifie « gravier, gros sable »).

Glerula renaît elle aussi de ses cendres grâce à l’énergie de l’évêque Marius. Il dédie l’église du bourg à Saint-Symphorien. Afin d’assurer la sécurité sur la route reliant nord et sud des Alpes, l’évêque de Lausanne construit en 1150 un donjon sur l’ancien emplacement de Glérolles. Dès 1300, les Evêques de Lausanne vont œuvrer à la construction du corps central du Château. Sous les Evêchés de Aymon et Sébastien de Monfalcon, le Château de Glérolles va subir d’importants remaniements. Lors de la conquête du Pays de Vaud par les Bernois en 1538, le Château tomba naturellement entre leurs mains jusqu’en 1796. A la suite de la révolte des Vaudois, le Château revient au peuple. En 1803, à la suite de la création du Canton de Vaud, le Château devient un bien privé, racheté par la famille Ruchonnet.

De 1803 à 1977, le Château est propriété des nombreux héritiers de la famille et ce n’est qu’à cette date que Maurice Cossy, fils d’une héritière Ruchonnet peut racheter les biens en totalité. En 1997, son fils Francis reprend la propriété à son compte. Dès 2010, le Château a été repris par un groupe d’investisseurs de la région.

Une légende veut que le donjon du Château de Glérolles ait dû être rabaissé au XIXéme siècle, car il projetait de l’ombre sur les vignes environnantes.

En réalité, la tour centrale a bien été diminuée de douze mètres par rapport à sa taille initiale, mais cette modification a eu lieu durant la construction de la voie ferrée, car les vibrations des trains menaçaient toute la structure. Cette anecdote montre que la place forte a toujours interagi avec le vignoble.