उल्म के किले में 19 वीं सदी में यूरोप में सबसे बड़ा दुर्गों में से एक था। जर्मन परिसंघ के नेपोलियन की सेना की वापसी के बाद जर्मन भूमि की सुरक्षा को मजबूत करने के लिए देश में कई किले का निर्माण करने का निर्णय लिया गया।

उल्म किले वास्तुकार मोरित्ज़ कार्ल अर्नस्ट वॉन Prittvitsa के मार्गदर्शन में शहर के उत्तर में 1838-1859 का निर्माण किया गया .  यह उस समय के लिए बहुत खास है और अधिक से अधिक 9 किमी की किले की दीवारों की कुल लंबाई के साथ एक बहुभुज का निर्माण .  अंदर, गगनचुंबी शांतिकाल में 5000 सैनिकों को समायोजित करने के लिए डिज़ाइन किया गया बैरकों की इमारतों और सेना में 20 लाख करने के लिए देखते हैं .  दीवारों पर रक्षक के रूप में और बैरकों की छतों पर स्थापित हथियार .  किले की दीवार छह फाटक और दो रेलवे सुरंगों था .  उल्म के दक्षिण की ओर किले से कुछ दूरी पर कई अच्छी तरह से दृढ़ किलों से सुसज्जित किया गया .  वे एक सीधे हमले से शहर की रक्षा करने के लिए डिजाइन किए गए थे .  रणनीतिक सबसे महत्वपूर्ण वस्तु - डेन्यूब पर ही पुल - किले के अंदर था .  वहाँ उल्म किले के और विस्तार के लिए योजना बना रहे थे, लेकिन वे लागू नहीं किया गया .  हाँ, और नियुक्ति के उल्म किले द्वारा इस्तेमाल कभी नहीं . 

द्वितीय विश्व युद्ध के दुर्गों आंशिक रूप से नष्ट कर दिया और बाद में कई दशकों के लिए अवशेष को नष्ट करने के लिए जारी किए गए थे के दौरान। हाल ही में, उत्साही शोधकर्ताओं की कंपनी उल्म यह आंशिक रूप से बहाल कर दी गई किले।