В царское время к крепостной церкви мученицы Александры была приписана небольшая, но изящная по архитектуре часовня Архистратига Михаила, находящаяся на военно-гарнизонном кладбище города Александрополя (ныне Гюмри), именуемом «Холм Чести», где погребали воинов, убитых на поле брани и умерших от ран.  Построенная из местного камня часовня Архистратига Михаила была освящена в 1886 году Экзархом Грузии Российской Православной Церкви, архиепископом Павлом (Лебедевым). После установления советской власти в 1920 году часовня была закрыта. В 1980-е годы в здании часовни располагался музей русско-армянской дружбы, который прекратил существование после разрушительного землетрясения 1988 года.

В 2009 году по инициативе посла России в Армении Вячеслава Коваленко и губернатора Ульяновской области Сергея Морозова было принято решение об организации восстановительных работ и возрождении мемориального комплекса «Холм Чести». Проект восстановления мемориального комплекса был разработан в Ульяновске в мастерской архитектора О. Владимирова. Для координации работ по восстановлению в том же году была создана рабочая группа под руководством президента Всеармянского международного молодёжного центра Андраника Никогосяна. Для решения организационных вопросов была учреждена российско-армянская благотворительная организация «Дело чести», сопредседателями которой стали руководитель представительства «Россотрудничества» в Армении В. Кривопусков и председатель комиссии по восстановлению «Холма Чести» А. Никогосян. После восстановления мемориальный комплекс «Холм Чести» торжестенно открыли 20 августа 2010 года. В церемонии открытия приняли участие Президенты Армении и России Серж Саргсян и Дмитрий Медведев. Святой антиминс для храма-часовни Архистратига Божия Михаила был освящен Святейшим Патриархом Московским и всея Руси Кириллом 10 июня 2013 года. Стараниями бывшего помощника командира 102-й военной базы по работе с верующими военнослужащими протоиерея Артемия Эмке в часовне был устроен алтарь с временным иконостасом. В 2024 году настоятелем прихода назначен иерей Тимофей Казарян. В настоящее время в храме-часовне Архистратига Михаила, которую местные жители называют «Плплан Жам» («сверкающая церковь»), возобновлены регулярные богослужения. Приходская община принадлежит к Ереванско-Армянской епархии Русской Православной Церкви.