5 июля 1886 года родился первенец в семье Великого Князя Константина Константиновича (1858–1915) и Великой Княгини Елизаветы Маврикиевны (1865–1927), урожденной принцессы Елизаветы Саксен-Альтенбургской. Нарекли его Иоанном в честь Святого Иоанна Крестителя.
С самого раннего детства Князь Иоанн Константинович отличался редкостным, даже для такой благочестивой семьи, как семья Великого Князя Константина Константиновича, духовно-религиозным настроем, состраданием к несчастным и обездоленным, чуткостью и простотой. Он неоднократно посещал Оптину пустынь и был особенно близок к Настоятельнице Марфо-Мариинской Обители Милосердия Великой Княгине Елизавете Федоровне. Годами позднее, специально ко дню освящения храма Спасо-Преображения, построенной в память 300-летия Дома Романовых в посёлке Тярлево (Павловск),
Князь Иоанн Константинович сочинил музыкальное произведение под названием «Милость мира».
Склонный к наблюдательности Князь Олег Константинович отметил, что старший брат с юности был нравственным ориентиром для младших. В дневнике он записал: «Для человека две главные вещи: совесть и правда. Если человек никогда не будет обманывать, он счастлив. Если человек всегда слушается совести, он будет хорошим человеком… У него совесть лучше всех наших».
Князь Иоанн Константинович окончил кадетский корпус и Николаевское кавалерийское училище, а в 1908 году Государь Николай II назначил его своим флигель-адъютантом. Молодой Князь писал родным: «Мне нужно много работать, чтобы сделать полезное для Отечества, да не мне одному, а всему молодому поколению России. Если много работать, то можно многое сделать».
В августе 1911 года Князь Иоанн Константинович женился на Елене Петровне (1884-1962), Королевне Сербской, дочери сербского Короля Петра I Карагеоргиевича.
Брак был счастливым, у княжеской пары родилось двое детей: Князь Всеволод (1914-1973) и Княжна Екатерина (1915-2007).
Семья проживала в Санкт-Петербурге, в Мраморном дворце, а с 1915 года, после кончины отца, Великого Князя Константина Константиновича, Князь Иоанн вступил во владение Павловским дворцом и всем его обширным хозяйством. В начале Первой мировой войны Князь Иоанн был ординарцем при штабе 1-й Гвардейской кавалерийской дивизии, участвовал в боевых действиях в Восточной Пруссии. За боевые заслуги был награжден орденом Святого Владимира 4-й степени с мечами и бантом и Георгиевским оружием. В 1916 году получил звание штабс-ротмистра лейб-гвардии Конного полка.
Князь Иоанн Константинович сердечно откликался на нужды своих сослуживцев и членов их семей. Особую заботу он проявлял о семьях погибших товарищей – заботился об их христианском погребении, сообщал родственникам об их гибели. Как и до войны, Князь Иоанн с супругой вели большую общественную работу.
После Февральской революции 1917 года Князь Иоанн Константинович был вынужден выйти в отставку, и проживал с семьей в Павловске, занимаясь инвентаризацией художественных ценностей дворца. 4 апреля Князь Иоанн вместе с братьями Константином и Игорем, и другими членами Дома Романовых был выслан в Вятку. Елене Петровне предоставили выбор: покинуть страну, поскольку она являлась иноземкой, или оставаться в Петербурге. Но Княгиня предпочла поехать за мужем. Двоих детей она оставила свекрови, Великой Княгине Елизавете Маврикиевне.
В Вятке режим был свободный, ссыльные могли передвигаться по городу, посещать церковь. Но 30 апреля всех перевели в Екатеринбург, затем 20 мая – в Алапаевск Пермской губернии. В конце июня Княгиня Елена Петровна уехала, чтобы проведать в Петрограде детей, а остальных ссыльных перевели на тюремный режим. В ночь с 17 на 18 июля 1918 года Князь Иоанн вместе с родственниками и их приближенными был убит.
Останки мучеников были обнаружены в 1919 году и захоронены в Свято-Троицком соборе Алапаевска, позднее при наступлении большевиков перевезены в Читу, потом в Пекин (Китай), где похоронены в апреле 1920 года при Свято-Серафимовском храме (при храме Русской миссии). Захоронение не найдено. Князь Иоанн Константинович канонизирован РПЦЗ 1 ноября 1981 года.
Генеральная прокуратура Российской Федерации 8 июня 2009 года посмертно его реабилитировала.