Das heutige Castello Visconteo ersetzt die ältere Burg in der Nähe der Kirche S. Maria Vecchia, die 1167 von Kaiser Friedrich Barbarossa zerstört wurde.

Strategisch günstig in der Nähe des Naviglio-Kanals gelegen, wurde es Ende des 13. Jahrhunderts erbaut und wahrscheinlich auf Veranlassung von Azzone Visconti (1329- 1339) vergrößert und renoviert. Im Jahr 1354 schenkte Galezzo II. Visconti die Festung seiner Frau Bianca di Savoia, und von da an war es Tradition, dass die Herzöge von Mailand die Burg ihren Frauen zur Hochzeit schenkten.

Im Jahr 1381 wurde die Burg unter Gian Galezzo von einer Verteidigungsfestung in eine Adelsresidenz umgewandelt. Es war wiederum Gian Galezzo, der hier seinen ersten Erben, Giovanni Maria, zur Welt brachte. Das Ereignis vom 7. September 1388 wird mit der Einweihung der Kirche Santa Maria Nascente", die heute S. Maria Nuova heißt, in Erinnerung bleiben. Mit Filippo Maria, dem letzten Erben der Familie Visconti, erlebte das Schloss seine größte Pracht mit neuen Dekorationen, von denen heute nur noch einige Fresken im Hof und in den Innenräumen mit dem Motto "a bon droit" übrig sind , die seine absolute Macht demonstrieren. Im obersten Stockwerk des Schlosses, wo sich die Gefängnisse befanden, sind Inschriften und Zeichnungen von politischen Gefangenen aus der Zeit der Ambrosinischen Republik (1447-1450), die mit der Machtergreifung von Francesco Sforza endete, in die Wand eingraviert.

Filippo Marias leibliche (später legitimierte) Tochter Bianca Maria Visconti, Ehefrau von Francesco Sforza, , die hier geboren und aufgewachsen ist, wird dieses Dorf immer in Erinnerung behalten, ebenso wie ihr erster Erbe Galeazzo Maria Sforza, der ebenfalls lange hier bleiben wird, um die von ihm gewünschten Arbeiten am Convento dell'Annunciata zu verfolgen. In dem Raum am Ende des ersten Stocks ist das Geburtsdatum von Gian Galeazzo Maria Sforza, dem ersten Sohn von Galeazzo Maria und Bona di Savoia, eingraviert: "20. Juni 1469".

Ludovico il Moro, der Bruder von Galeazzo, zog stattdessen das Schloss von Vigevano vor und ließ seine Schwägerin Bona von Savoyen, die verwitwet war, hier in Habiate einkerkern. Mit dem Ende der Sforza-Dynastie verlor das Schloss allmählich an Bedeutung und wurde zu einer Festung degradiert. Es war Schauplatz von Auseinandersetzungen zwischen Franzosen und Spaniern (1524 - 1527), die zur Zerstörung eines Teils des Gebäudes führten. Während der spanischen Ära verfiel das Schloss allmählich bis 1658, als es teilweise abgerissen und der einzige von vier verbliebenen Türmen abgetragen wurde.

Das zu einem Adelssitz reduzierte Gebäude blieb bis 1862 in Privatbesitz, als die Gemeinde es kaufte, um zunächst Schulen und dann Gemeindebüros darin unterzubringen. Heute, nach einer 1994 abgeschlossenen Restaurierung und einer weiteren im Jahr 2009, beherbergt es die Stadtbibliothek R. Brambilla, andere städtische Ämter und ist Veranstaltungsort für kulturelle Events.