A l’origine, la construction primitive d’un château roman, à l’initiative d’un sire de Grandson, est attestée par un acte de 1050. Rien n’en a subsisté depuis qu’en 1260/80, le plus célèbre dynaste de Grandson, Othon I, le reconstruisit dans sa forme actuelle. A l’extinction de la lignée des dynastes de Grandson avec Othon III, fief et château, confisqués par la maison de Savoie en 1397, puis tombés en déshérence, Othon étant mort sans héritiers, passèrent aux comtes de Chalon, alliés du duc de Bourgogne, dont le fief principal se trouvait au château de Nozeroy, en Franche-Comté.
Louis de Chalon remania la forteresse à l’aube des guerres de Bourgogne, mais elle eut néanmoins un destin militaire malheureux : elle succomba à tous ses sièges. Le château fut encore notablement renforcé après l’incendie de Grandson en 1466.

Mais les Confédérés, lors de leur première expédition en Pays de Vaud, s’en emparèrent en 1475 et le dernier comte de Chalon, Hugues, trouva la mort dans la bataille. Témoin de la célèbre bataille de Grandson, que Charles le Téméraire livra en 1476 aux Confédérés, le château permet de revivre ce passé inoubliable. Après les victoires suisses de Grandson et de Morat en 1476, le traité de Fribourg érigea Grandson en bailliage commun, régi alternativement tous les 5 ans par les Bernois et les Fribourgeois. De 1476 à 1798, le château fut le siège de ce bailliage. Après 1476, il devait être d’ailleurs entièrement rénové par les Bernois.