Raccolto all’interno di un’alta cinta muraria, che si sviluppa per circa un chilometro, il complesso, tipico esempio di architettura tardo gotica lombarda realizzata in cotto, conserva tuttora l’atmosfera antica e suggestiva degli eremi.

Il convento ebbe origine da una donazione fatta da Guglielmo Luchino Venturella di Castel Goffredo di un oratorio privato, con casa ed orto contigui, assegnata agli Eremitani di Sant’Agostino con breve di Papa Callisto III nel 1455. Originariamente il complesso monastico era costituito da una chiesa, oggi scomparsa, dal refettorio, dalle sale capitolari e da due chiostri gotici di cui rimangono oggi dei frammenti.

Dell’antico edificio oggi sono rimaste solo alcune parti dei chiostri gotici, dei saloni con coperture a volto e a cassettoni, oltra alla piccola chiesa, dove il 5 novembre 1885 il vescovo di Mantova Giuseppe Sarto, futuro Papa Pio X, riconfermò l’autorizzazione a celebrare la messa.

Oggi il Convento dell'Annunciata accoglie matrimoni, cene aziendali, feste private.