Раввин Зильбер родился в 1917 году в Казани у рава Бенциона Хаима Циюни (Зильбер) — раввина Казани — и Леи-Гитл Шапиро. Получил традиционное еврейское воспитание в условиях, когда это было практически невозможно, что оказало значительное влияние на всю его последующую жизнь. Религиозное чувство дало о себе знать очень рано. Уже в 5 лет Ицхак мечтал уехать в Палестину. Всё своё начальное образование, как религиозное, так и светское, рав получил от отца и ни дня не посещал школу. В 13 лет поступил учиться слесарному делу, затем работал слесарем 6-го разряда в производственных мастерских горсовета. В 1935 г. учился на вечерних подготовительных курсах Казанского химико-технологического института. Затем поступил, проучился там год, но увлечение математикой заставило его перейти на математическое отделение Казанского университета. В заявлении на имя ректора Г. X. Камая он писал о своем «страстном» увлечении математикой и обещал учиться только на «хорошо» и «отлично». В 1935 году заочно сдал экзамены в Казанский уни

верситет. Изначально выбрал химию, но сменил её на математику. Поступил доцентом к профессору Николаю Чеботарёву, крупнейшему алгебраисту. Из КХТИ Зильбер был отчислен по собственному желанию 14 июля 1936 г. Этим же днем датировано и его заявление о переводе на второй курс физмата КГУ. Свое обещание Зильбер сдержал, университет закончил с отличием в 1941 году. После окончания университета работал сельским учителем. В 1945 году Мордехай Дубин нашёл раввину Ицхаку невесту, и тот вскоре женится на Гите-Леи Зайдман в Куйбышеве. У Зильберов родилось 4 детей — сын Бен-Цион и 3 дочери.

В 1951—1953 годах сидел в лагере в Татарской автономной республике по обвинению в незаконном хранении облигаций. В 1959 году был вызван на допрос по обвинению в прививании детям еврейского воспитания и их отказа писать в Шаббат. После угрозы местной ячейки компартии лишить его родительских прав бежал из Казани, забрав с собой позже всю семью.

В 1960 году поселился в Ташкенте, где стал одной из центральных фигур в местной еврейской общине.

В 1972 году после долгих лет в отказе наконец репатриировался в Израиль и поселился в Иерусалиме в районе Санхедрия. Инициировал созданиe уроков Торы для русскоязычных евреев по всему Израилю. Раввин Зильбер стоял почти за всеми проектами в Израиле и за его пределами, связанными с созданием учебных центров для русскоязычных евреев, в том числе иешивы «Швут Ами», «Торат Хаим» в Москве, «Шавей Гола» и другие. В 2000 году создал организацию «Толдот Йешурун».

Раввин Зильбер является автором серии книг, видео- и аудиокассет по недельным главам Торы, а также своей автобиографии, где приводятся интересные факты связанные с еврейской жизнью в Советском Союзе.

Раввин скончался после продолжительной болезни 8 ава 2004 (5764) года. В последний путь его провожали более 10 000 человек, в том числе крупнейшие раввины с мировым именем. Был похоронен 9 ава на иерусалимском кладбище Гар а-Менухот рядом со своей женой.