По совету своего отца вскоре женится на дочери Элиэзера Элияху Гродзинского, виленского даяна и зятя рава Исраэля Липкина из Салантай. Рав Хаим планировал после свадьбы полностью погрузиться в изучение Торы в колеле на содержание тестя, однако в 1885 тесть внезапно умер и виленская община попросила молодого человека занять место тестя. Раву Хаиму пришлось согласиться и вскоре, несмотря на молодой возраст он выдвинулся на ведущую роль в раввинском суде и в еврейской общине.

В Вильнюсе со времен гаона не было главного раввина и всеми общинными делами управлял совет судей, один из которых был неофициальным главным раввином. Вскоре после назначения рава Гродзинского на должность судьи вокруг него собралась группа способных учеников, которой он читал еженедельные лекции. Более всего из них прославились Моше Шацкес, Йехезкель Абрамский и Элиэзер Сильвер. В 1912 был одной из центральный фигур на первом съезде Агудат Исраэль и был участником всех съездов организации до самой смерти.

В 1939 после раздела Польши и передачи Виленского уезда Литве в Вильнюс хлынул многотысячный поток еврейских беженцев. Рав Гродзинский пытался помочь им благоустроиться, однако его здоровье уже и так было подорвано и загруженный непосильным бременем он вскоре умер. Центральная улица Петах-Тиквы носит его имя.