Легенда так объясняет название населённого пункта Гарсене. Барону Будбергу принадлежали большие земельные владения и было у него много слуг, а достойного красивого дома не было. Барон решил исправить такое несоответствие дел.

В один день он созвал всех слуг, окрестных крестьян и начал строительство замка. Прошло немного времени, и замок был готов. Получился он действительно красивым. Барон хотел, чтобы все узнали, что у него есть большой красивый дом, но у дома не было названия. Стали все вместе придумывать название: сам барон думал-думал, ничего не придумал, жена думала-думала, тоже ничего не придумала, подключили к процессу слуг, но думали-думали и тоже ничего хорошего не придумали.

Барон разгневался и обратился к жене: мол ты одна сможешь меня выручить. Кучеру велено было запрягать для баронессы карету и ехать по дороге куда глаза глядят, а как только появится первый встречный, баронесса должна была завести с ним разговор. Первым словом, какое будет сказано идущим человеком, и назовут дворец. Сказано – сделано. Ехали, ехали, а первый встречный всё не появлялся и не появлялся.

И только недалеко от литовской границы встретили литовскую крестьянку, несущую большую охапку травы сныти. Баронесса спросила у крестьянки, что она несет. Та бедная испугалась, не знала толком немецкого или латышского языка и ответила: «Гарсе нес!» Баронесса вскрикнула от радости: такое прекрасное название! Кучер тут же повернул лошадей обратно, и все довольные поехали домой. С того времени и существует название Гарсене.

Так говорит местная легенда. А историки ограничиваются простой констатацией факта, что здание господского дома в Гарсене было выстроенного в неоготической стилистике между 1856 и 1860 годами по заказу владевшего поместьем барона Будберга архитектором, имя которого история не сохранила, рассказывает в новом эпизоде "Местных примечательностей" краевед Олег Пухляк.

Считается, что сначала была построена двухэтажная часть замка с неоготическими башенками по углам. А одноэтажное крыло было пристроено к главному корпусу позже, в 1885 году. Местная легенда говорит о том, что жена барона Леонарда Будберга, английская баронесса Гертруда Уорс, сочла существующий замок слишком тесным, поэтому и пришлось дополнить имевшуюся двухэтажную конструкцию одноэтажным корпусом.

Бужберги владели поместьем вплоть до самой Аграрной реформы 1920-х годов, в ходе которой прошла национализация помещичьих владений.

С 1940 по 2015 год в поместном доме располагалась начальная школа Гарсене. За несколько десятилетий здание ремонтировалось, перестраивалось, адаптируясь под нужды учебного заведения. В результате от прежнего дворцового интерьера практически ничего не сохранилась.

Единственным художественным памятником, сохранившимся в Гарсенском дворце в первозданном виде является созданная в XIX веке печь, облицованная керамической белой плиткой. Причём каждая отдельная плитка украшена не повторяющимся кобальтово-синим пейзажным рисунком в голландском стиле.

В 2016 году при поддержке Государственного фонда культурного капитала под руководством мастеров Яны Либиете и Ины Тилтини была проведена реставрация этой печи, после чего кармические декоративные плитки приобрели первоначальную яркость и чёткость рисунка. В настоящее время в замке Гарсене действует туристический информационный центр. Помещения дворца можно арендовать для проведения различных мероприятий, веранда дворца используется как выставочный зал, а дворцовая пристройка и комнаты второго этажа пригодны для ночлега.

А чтобы гостям дворца, решившим заночевать, не было скучно, в тёмные часы дня даёт о себе знать призрак Синей Дамы.

Вот только о том, откуда и в связи с чем появилась своя Синяя Дама в Гарсене, легенда ещё не сложена. Однако, не всё сразу!