Toman a Toman - ruční výroba pohlednic

O nejstarší podobě hradu vybudovaného na ostrohu nad přechodem trstenické cesty přes řeku Svitavu nevíme nic. Hrad je poprvé doložen teprve v r. 1360, ačkoliv se již v 1. 1250 – 1274 připomíná Heřman z Letovic a v r. 1316 Stanimír z Letovic, což by předpokládalo existenci hradu již v druhé polovině 13. století. Poté se stali držiteli Letovic páni z Přibyslavi, které ještě ve 14. století vystřídal rod Ronovců.
Kolem r. 1400 byl na zdejším hradě přeložen do češtiny známý cestopis Marka Pola Milión. Překlad, v němž jsou zřetelné některé moravismy, je dnes uložen v knihovně Národního muzea v Praze. Na počátku 15. století držel hrad přívrženec císaře Zikmunda Hynek z Ronova. Proto husité v r. 1424 hrad oblehli, dobyli a zničili.

Po Hynkově smrti bylo panství rozděleno mezi jeho dcery na dvě části, které získali postupně páni z Boskovic. Z nich s oblibou v Letovicích přebýval vzdělaný Ladislav z Boskovic, který zde také v r. 1520 zemřel. V druhé polovině 15. století byl letovický hrad obnoven. O jeho pozdně gotické přestavbě svědčí několik sklepních místností s jednoduchým portálem; pozdně gotická je snad i část vnější obvodové zdi zámeckých budov.
Syn Ladislava z Boskovic Kryštof z Boskovic postoupil v r. 1544 hrad a městečko Letovice, Třebětín, Slatinku, Vanovice, Zboněk, Zábludov, díl Vranové, Radiměře a Lazinova hraběti Kryštofu z Hardeku. Hardekové počali šířit v Letovicích luterství; založili zde luterskou školu a městečko poněmčovali. Jejich náhrobky jsou ve farním kostele v Letovicích.
Za Hanuše Fridricha z Hardeku v druhé polovině 16. století byly provedeny úpravy hradního interiéru a jeho opevnění, hlavně na severní straně. Panství pak získal v r. 1614 sňatkem s Reginou Juliánou z Hardeku hrabě Jindřich Václav Thurn, jenž dovedl proplout úskalím pobělohorských konfiskací a podporoval Letovické v odporu k protireformaci.

V r. 1643 dobyli hrad Švédově. Na konci 17. století přestavěl Štěpán Szelepcsényi jádro sídla v raně barokní zámek. Po četných změnách držitelů panství získali v r. 1724 Letovice Blümegenové, kteří povznesli město po stránce hospodářské. V r. 1724 zámek s městečkem vyhořel. Po požáru pak úpravy pokračovaly, především v zámeckých interiérech, stejně jako výstavba hospodářských a úřednických budova východně od zámku, jak hlásá letopočet 1730 na bráně předzámčí. 
V r. 1820 se stává majitelem panství a zámku maďarská rodina Kálnoky z Köröspatak, za niž stavební činnost ožívá znovu. Stavbou koníren, letní a zimní jízdárny a arkádami na terase a úpravou středověké věže získal zámek nynější vzhled. Z rodiny Králnokyů vynikl Gustav Kálnoky († 1898 v Letovicích), nejprve rakouský velvyslanec v Petrohradě a v 1. 1881 – 1895 rakouský ministr zahraničí. V rodině Kálnokyů působil v Letovicích jako vychovatel český archeolog a básník Jan Erazim Vocel (1803 – 1871). Kálnokyové vlastnili panství až do r. 1945.