El actual Castello Visconteo sustituye al castillo más antiguo, situado cerca de la iglesia de S. Maria Vecchia, que fue destruido por el emperador Federico Barbarroja en 1167.

Situado estratégicamente cerca del canal del Naviglio, fue construido a finales del siglo XIII y ampliado y renovado probablemente a instancias de Azzone Visconti (1329- 1339). En 1354, Galezzo II Visconti regaló la fortaleza a su esposa Bianca di Savoia, y desde entonces fue tradición que los duques de Milán entregaran el castillo a sus esposas como regalo de bodas.

En 1381, con Gian Galezzo, el castillo pasó de ser una fortaleza defensiva a una residencia noble. Fue de nuevo Gian Galezzo quien dio a luz a su primer heredero, Giovanni Maria, aquí en el castillo. El acontecimiento del 7 de septiembre de 1388 se recordará con la dedicación de la iglesia de "Santa Maria Nascente " , hoy conocida como S. Maria Nuova. Sería con Filippo Maria, el último heredero de la familia Visconti, cuando el castillo conocería su mayor esplendor con nuevas decoraciones, de las que hoy sólo quedan algunos frescos en el patio y las salas interiores con el lema "a bon droit", demostrando su poder absoluto. En el último piso del castillo, donde se encontraban las prisiones, se pueden ver grabadas en la pared las inscripciones y dibujos dejados por los presos políticos de la época de la República Ambrosina 1447-1450, que terminó con la toma del poder de Francesco Sforza.

La hija natural de Filippo Maria (más tarde legitimada) Bianca Maria Visconti, esposa de Francesco Sforza, nacida y criada aquí, siempre guardará con cariño este pueblo, al igual que su primer heredero Galeazzo Maria Sforza, que también permanecerá aquí durante mucho tiempo para seguir las obras del Convento dell'Annunciata que él deseaba. En la sala del fondo del primer piso, está grabada la fecha de nacimiento de Gian Galeazzo Maria Sforza, primer hijo de Galeazzo Maria y Bona di Savoia: "20 de junio de 1469".

Ludovico el Moro, hermano de Galeazzo, prefirió en cambio el castillo de Vigevano, haciendo encarcelar aquí, en Habiate, a su cuñada Bona de Saboya, que había enviudado. Con el final de la dinastía Sforza, el castillo fue perdiendo importancia hasta quedar reducido a una fortaleza. Fue escenario de enfrentamientos entre franceses y españoles (1524 -1527), que provocaron la ruina de parte del edificio. Durante la época española, el castillo se deterioró progresivamente hasta 1658, cuando fue parcialmente demolido y la única torre que quedaba, de un total de 4, fue rebajada.

Reducido a residencia nobiliaria, permaneció en manos privadas hasta 1862, cuando el municipio lo compró, primero para albergar escuelas y luego oficinas municipales. Actualmente, tras una restauración terminada en 1994 y otra finalizada en 2009, alberga la Biblioteca Cívica R. Brambilla, otras oficinas municipales y es sede de eventos culturales