Posto all’imbocco della Val di Sole e affacciato sul torrente Noce, il maestoso maniero domina il vicino paese di Caldes. L'aspetto attuale del castello, una delle sedi del Museo Castello del Buonconsiglio, è il frutto dell'incontro delle diverse culture veneta, tedesca e lombarda, tipico di questa zona al confine del Principato Vescovile di Trento. Tra il 1230 e il 1235 fu realizzato il primo nucleo, una torre a cinque piani che fungeva anche da residenza, realizzata per volere di Rambaldo ed Arnoldo da Cagnò. Era utilizzata, insieme alla sovrastante Rocca di Samoclevo, per il controllo della Val di Sole. La grande casa-torre duecentesca a cinque piani eretta dalla famiglia Cagnò nel 1464 venne donata alla famiglia Thun che inglobò la primitiva torre in un nuovo edificio a pianta quadrata che corrisponde nelle forme all'attuale castello. Nel corso dell'Ottocento fu acquistato da una famiglia locale, mentre oggi è di proprietà della Provincia Autonoma di Trento, che lo ha restaurato e trasformato nella prestigiosa sede di esposizioni temporanee ed avvenimenti culturali.
L'intervento di restauro e di recupero di Castel Caldes ha riguardato principalmente le opere di demolizione degli edifici novecenteschi e sistemazione delle aree esterne, la realizzazione di nuove scale per i collegamenti, il restauro e la realizzazione di nuovi pavimenti e serramenti e la manutenzione delle coperture. L'interno è affascinante e presenta soffitti a volte, rivestimenti lignei e sale affrescate. Notevoli sono la stanza del conte ed il salone da ballo. Fa parte del gruppo monumentale del castello la piccola chiesetta dedicata alla Beata Vergine Maria, costruita alla fine del Cinquecento.
Una leggenda vuole che il castello sia stato teatro della prigionìa di una giovane donna di nome Olinda, forse da identificarsi nella contessa Maria Elisabetta Thun, che venne rinchiusa dal padre Rodemondo in una piccola stanza per impedire il matrimonio con Arunte, menestrello di corte per il quale morì d'amore.