Первая сеньориальная резиденция была построена в XIII веке. Первоначально это был небольшой замок, окружённый крепостной стеной с выступающими зубцами в верхней части. В XIII веке были начаты серьёзные работы по укреплению замка, в частности, по строительству трёх башен, примыкающих к крепостной стене, которые дополнили башню-ворота. Внутри строится роскошное жилое здание. В XIV веке значительно развиваются оборонительные сооружения замка. Прокапывается окружной ров. Сооружается новая башня-ворота с подъёмным мостом. Во второй половине XIV века Бланди становится образцом укреплённого замка. Строится донжон высотой около 39 метров, защищаемый двумя подъёмными мостами. У крепостной стены добавляются новые башни и куртины.

В XV – XVII вв. укреплённый замок теряет своё оборонительное значение и становится замком-резиденцией. Строятся здания гражданского назначения. В начале XVIII в. маршал де Вилляр, владелец Во-ле-Виконта, приобретает земли и замок Бланди, который разбирается и превращается в ферму. Постепенно укреплённый замок исчезает.