Z biegiem lat Kłodzko nabierało coraz większe znaczenie strategiczne. Tutaj przebiegało wiele traktów handlowych. Sytuacja ta sprawiła, że w latach 1680 - 1702 Austriacy zbudowali na miejscu zamku twierdze na podstawie planów włoskiego architekta J. Carova. W 1742 roku zdobyta przez wojska pruskie, wkrótce potem na polecenie Fryderyka II Wielkiego przystąpiono do jej rozbudowy angażując do tego najlepszych ówczesnych architektów. Ich dziełem były zewnętrzne fortyfikacje bastionowe. Równocześnie w latach 1745 - 1750 powstawał fort na Owczej Górze, po drugiej stronie rzeki. Patrz MAPA. Następnie przystąpiono do dalszej rozbudowy twierdzy głównej według planów L. W. von Regelera (budowniczego twierdzy srebrnogórskiej). Rozebrano pozostałości zamku i na jego miejscu wzniesiono potężny donżon i system bastionów wraz z wielopoziomowymi kazamatami. Rozbudowano fortyfikacje ziemne z rawelinami i szańcami. Przegrodzono Nyse Kłodzką, budując nad nią Brame Ząbkowicką i śluze do spiętrzania wody. Równoczeœnie rozbudowywano skomplikowany system korytarzy minerskich. Ich zadaniem była obrona przed zbyt bliskim przetoczeniu pod twierdze armat wroga aby mogły oddać skuteczne strzały rozbijając jej mury.

Twierdza była w 1807 roku przez kilka miesięcy bezskutecznie obleganana przez wojska napoleońskie. Załoga sama poddała się po zatruciu przez jedną ze zwolenniczek Napoleona wody studziennej. Studnia twierdzy wykuta w litej skale posiada do dzisiaj głębokość około 80 metrów. W połowie XIX wieku twierdza utraciła praktycznie znaczenie militarne, chociaż utrzymywano w niej garnizon wojskowy. Później w twierdzy miesciło się ciężkie więzienie w którym znaleźli się m.in. wielkopolscy uczestnicy powstania styczniowego. W czasie II wojny światowej mieściła się w niej niemiecka fabryka zbrojeniowa, w której przymusowo pracowało około tysiąca polskich robotników.

Od lat siedemdziesiątych pomieszczenia twierdzy były stopniowo porządkowane, zabezpieczane i przystosowywane do zwiedzania. Obecnie udostępnione są dwie trasy podziemne: im. 1000-lecia Państwa Polskiego i "LABIRYNTY" oraz naziemny "SZLAK TURYSTYCZNY". Większa część twierdzy dzierżawiona jest przez firmę zajmującą się produkcją win. Fort Owcza Góra nie został przeznaczony do celów turystycznych i jest dostępny dla wszystkich amatorów przygód.