L' actuel Castello Visconteo remplace l'ancien château, situé près de l'église S. Maria Vecchia, qui fut détruit par l'empereur Frédéric Barberousse en 1167.

Stratégiquement situé à proximité du canal du Naviglio, il a été construit à la fin du XIIIe siècle et a été agrandi et rénové probablement sur l'ordre d'Azzone Visconti (1329- 1339). En 1354, Galezzo II Visconti offrit la forteresse à son épouse Bianca di Savoia et, à partir de ce moment-là, la tradition voulut que les ducs de Milan offrent le château à leurs épouses en guise de cadeau de mariage.

En 1381, avec Gian Galezzo, le château est transformé d'une forteresse défensive en une résidence noble. C'est encore Gian Galezzo qui donna naissance à son premier héritier, Giovanni Maria, dans le château. L'événement du 7 septembre 1388 restera dans les mémoires avec la dédicace de l'église Santa Maria Nascente, aujourd'hui connue sous le nom de S. Maria Nuova. C'est avec Filippo Maria, dernier héritier de la famille Visconti, que le château connaîtra sa plus grande splendeur avec de nouvelles décorations, dont il ne reste aujourd'hui que quelques fresques dans la cour et les salles intérieures avec la devise "a bon droit", démontrant son pouvoir absolu. Au dernier étage du château, où se trouvaient les prisons, on peut voir gravées sur le mur les inscriptions et les dessins laissés par les prisonniers politiques de l'époque de la République Ambrosine 1447-1450, qui s'acheva avec la prise de pouvoir de Francesco Sforza.

La fille naturelle (plus tard légitimée) de Filippo Maria, Bianca Maria Visconti, épouse de Francesco Sforza, née et élevée ici, gardera toujours ce village cher, tout comme son premier héritier Galeazzo Maria Sforza, qui lui aussi restera longtemps ici pour suivre les travaux du Convento dell'Annunciata qu'il souhaitait. Dans la pièce située à l'extrémité du premier étage, la date de naissance de Gian Galeazzo Maria Sforza, premier fils de Galeazzo Maria et de Bona di Savoia, est gravée : "20 juin 1469".

Ludovic le Moro, frère de Galeazzo, préféra le château de Vigevano et y fit enfermer sa belle-sœur Bona de Savoie, devenue veuve, à Habiate. Le château perdit peu à peu de son importance, se réduisant à une forteresse, à la fin de la dynastie des Sforza. Il fut le théâtre d'affrontements entre Français et Espagnols (1524-1527), qui entraînèrent la ruine d'une partie de l'édifice. À l'époque espagnole, le château se détériore progressivement jusqu'en 1658, date à laquelle il est partiellement démoli et où la seule tour restante, sur quatre, est abaissée.

Réduit à une résidence noble, il est resté en mains privées jusqu'en 1862, date à laquelle la municipalité l'a acheté, d'abord pour y loger des écoles, puis des bureaux municipaux. Actuellement, après une restauration achevée en 1994 et une autre achevée en 2009, il abrite la bibliothèque municipale R. Brambilla, d'autres bureaux municipaux et accueille des événements culturels.