Народився преподобний Іоанн в місті Нікополі Вірменському в сім’ї воєнноначальника Енкратія і дружини його Євфимії приблизно у 454 році. Хлопчик рано почав вивчати Священне Писання і всім серцем полюбив усамітнення і молитву.
На частину майна, яка залишилась йому після смерті батьків юнак побудував церкву на честь Пресвятої Богородиці. З 18 років Іоанн разом з десятьма ченцями жив при церкві у пості, молитві та стриманні.На прохання громадян міста Колонії, митрополит Севастійський рукоположив 28-літнього Іоанна на єпископа Іконійської Церкви. Прийнявши церковне правління, преподобний не змінив строго аскетичного способу життя. Під впливом святителя жили по-християнськи і його близькі – брат Пергамій ( наближений до імператорів Зенона і Анастасія) та племінник Феодор ( наближений до імператора Юстиніана).
На десятому році єпископства Іоанна владу у вірменії прийняв Пазиник, чоловік сестри святителя – Марії. Новий правитель став власно вмішуватися у духовні та церковні діла. В Церкві почався неспокій. Тоді святий Іоанн вирушив до Константинополя і через архієпископа Євфимія просив імператора Зенона захистити вірменську Церкву від грубих посягань.
Занепокоєний мирською боротьбою, Іоанн таємно залишив Єпископію і відплив до Єрусалиму. Зі сльозами молив він Бога показати місце, де йому жити і спастись. Явилась ясна зірка, яка привела Іоанна в Лавру преподобного Сави. Іоанн, приховавши своє єпископське достоїнство, був прийнятий в число братії простим послушником. За дорученням святого ігумена Сави Іоанн виконував найтяжчі роботи на будівництві странноприїмного дому і монастиря для ченців-початківців. Бачачи смирення і працьовитість Іоанна, святий Сава вирішив, що преподобний іоанн достойний висвяти на пресвітера. Святителю довелося відкрити таємницю Патріарху Єрусалимському Іллі ( 494-517 рр.) З благословення патріарха Єрусалимського преподобний Іоанн прийняв обітницю мовчання. Невдовзі Господь відкрив таємницю Іоанна святому Саві. Чотири роки провів преподобний Іоанн в келії, нікого не приймаючи і не входячи навіть до церкви.
Бажаючи ще більшого усамітнення і посиленого стримання, преподобний Іоанн покинув Лавру і пішов у пустелю, де провів більше дев’яти років, споживаючи лише трави. Тут він пережив напад сарацинів і не загинув лише тому, що Господь послав розлюченого лева, бачачи якого вороги зі страхом розбіглися. Передання розповідає про багато чудес сотворених за молитвою святого Іоанна в пустелі.
Коли святий ігумен Сава, надовго ходив у Скіфополь і звідти повернувся, він ублагав преподобного Іоанна залишити пустелю і знову поселитися в обителі. Після цього Господь відкрив усім насельникам Лаври, що Іоанн Єпископ. Коли преподобному Іоанну було сімдесят років, упокоївся святий і Богоносний отець Сава Освячений. Святитель глибоко сумував за спочилим. Святий Сава у видінні явився йому і утішив і передбачив, що Іоанну багато належить потрудитись у боротьбі з єрессю. І справді, Іоанн повинен був покинути свою келію, щоб укріпити братію в боротьбі з єресю оригенітів.
Преподобний Іоанн Мовчальник провів у Лаврі преподобного Сави 66 років. Невтомним чернечим подвигом, невсипущою молитвою, смиренномудрістю стяжав Іоанн благодать Святого Духа: за його молитвою звершувалось багато чудес; таємні думки людей для святителя були явними; він зціляв хворих і біснуватих; ще при житті своєму спас від неминучої смерті тих, хто призивав його ім’я; із зерна смоківниці, кинутого святителем в землю в сухий грунт виросло прекрасне дерево і принесло плоди. У віці 104 років преподобний Іоанн Мовчальник з миром відійшов до Господа.