Urodził się w rodzinie prowincjonalnego nauczyciela. Po upadku powstania styczniowego Kędzierscy osiedlają sie w Radomiu, gdzie młody Apoloniusz rozpoczął naukę w miejscowym gimnazjum. Dzięki uzdolnieniom rysunkowym znalazł się w Orońsku, gdzie Józef Brandt prowadził prywatną szkołę malarską. W 1885 roku Brandt kieruje A. Kędzierskiego na nauki w warszawskiej Klasie Rysunkowej u Wojciecha Gersona. W 1886 roku, również przy pomocy Brandta, A. Kędzierski wyjechał na studia do Monachium. W roku 1894 osiedlił się w Warszawie. Zmarł w oblężonej Warszawie 21 września 1939 roku.
Początkowo malował w stylu Józefa Brandta, któremu tak wiele zawdzięczał. W późniejszym okresie życia przerzucił się na malarstwo akwarelowe. Malował pejzaże, sceny rodzajowe, starych rybaków znad Narwi, główki pięknych łowiczanek, kwiaty i zwierzęta.