Основанная в 1863 году походная церковь существовала со времени формирования 153-го пехотного Бакинского полка и сопутствовала ему во время русско-турецкой войны 1877-1878 годов. В ознаменование победного штурма турецкого форта «Азизие» в Эрзеруме 28 октября 1877 года, в день памяти святителя Арсения I, архиепископа Сербского, воинский приход был назван в честь этого святого. Полковой храм был построен на казённые средства по типу военных церквей в 1910 году и освящён 6 января в честь праздника Святого Богоявления. В царское время храм был расписан и имел мраморный иконостас. Богоявленский храм (известный также как храм святителя Арсения Сербского) расположен на так называемом «казачьем посту» города Гюмри. Храм многие десятилетия находился в заброшенном состоянии и сейчас нуждается в реставрации.