Nenápadná budova bývalého zámečku stojí u železničního přejezdu v centru obce a je přístupná pouze v rámci návštěvy některého z úřadů.

V roce 1270 udělil olomoucký biskup Bruno ze Schaumburgu čerstvě založenou ves Branky paní Kateřině, vdově po svém služebníku Albertovi Stangemu za jeho věrné služby. Vesnice náležela k lennímu zboží olomouckých biskupů, což znamená, že byla šlechtě pouze pronajímána. Místní vladykové se psali s přídomkem „z Branek“ a sídlili na tvrzi, stávající pravděpodobně v místech dnešního starého zámku. Tvrz vznikla asi koncem 14.stol., ale poprvé je písemně zmiňována až v roce 1546. Roku 1701 získal branecké panství rytíř František Erasmus Lockner z Lockenau. Ten se rozhodl starou tvrz, která nejspíš za třicetileté války (1618–1648) dosti zpustla, přestavět na nevelké panské sídlo, známé dnes jako „starý zámek“. Patrová budova zámečku má obdélníkový tvar a jeví znaky původně renesančního objektu, přestavěného v barokním stylu. Vedle něj stával hospodářský dvůr, na jehož místě se dnes nalézá malá továrna. Statek i zámeček hodně často střídaly majitele. Po smrti Františka Erasma Locknera (1719) přebírá léno jeho syn Maxmilián, který ho drží až do roku 1746. Špatná ekonomická situace jej však donutila statek Branky se souhlasem olomoucké kapituly prodat Filipu Josefovi svobodnému pánu Wipplerovi z Ušic. Ani nový majitel neoplýval podle dobových zdrojů finanční silou, navíc vedl hospodářství takovým způsobem, že si na něj v letech 1784-1785 stěžují biskupovi i vlastní synové Amand a Otto. Ti se rok před smrtí svého otce (1794) ujímají správy panství, už zanedlouho však v Brankách hospodaří pouze Otto. O pár let později žádají bratři Wipplerové biskupství o souhlas s prodejem braneckého léna svým příbuzným, svobodným pánům Hildebrandům. Po smrti Otto Wipplera (1807) se stává držitelem panství dlouholetý přísedící zemského výboru Jan hrabě Troyer, který přislíbil převzít po Wipplerových dluhy ve výši 9,2tis.zl a Amandu Wipplerovi vyplácet doživotní rentu 1,8tis.zl. Držení Branek ale bylo tvrdým oříškem i pro něj. V roce 1822 zemřel Amand Wippler, v roce 1837 Jan hrabě Troyer. Plnomocným leníkem statku se stává jeho syn Ferdinand. O 10 let později je již držitelem léna Bedřich hrabě z Erlachu, v roce 1852 jej koupil za 54tis.zl. Karel Noe rytíř z Nordbergu a v roce 1855 prezident zemské vlády v Opavě, baron Heřman svobodný pán Pillersdorf z Pillersdorfu. Ten v roce 1872 vymaňuje Branky z majetku olomouckého arcibiskupství a působí zde až do roku 1886, kdy panství přenechává za 120tis.zl. svému zeti, advokátovi Dr. Hansovi Huberovi. Huber se pouští do výrazných úprav nového zámku – letního sídla, zbudovaného počátkem 18.stol. naproti starému zámku, a původní objekt přestavuje na kanceláře. Roku 1910 koupil branecký statek za 500tis.Kr. přerovský továrník Jan Weigel, majitel jedné z největších továren na výrobu kočárů v Rakousko-Uhersku. O 6 let později jej ovšem prodává polskému generálmajorovi ve výslužbě Erichu svobodnému pánu Dillerovi. Pod tlakem finanční tísně však Diller a jeho děti postupně majetek rozprodávají, čehož využil tehdejší starosta Branek Albert Günter a asi v roce 1926 získal starý zámek pro účely obce. Přestože statek a nový zámek ještě několikrát změnily majitele, osudy starého zámku už nejsou nijak bouřlivé. Dnes v něm po generální opravě sídlí obecní úřad a pošta.