Пастырь офтальмоинноваций
Андрей Демчинский
к.м.н., разработчик
Доктор нового поколения должен уметь объединять академические знания с мировыми, которые стали легко доступными благодаря ИИ инструментам.
Меня зовут Андрей, я офтальмолог, который в стремлении помогать людям с проблемами зрения глобально, с головой окунулся в область инноваций и технологического предпринимательства. Это та среда, где доктор может воплощать свои идеи в жизнь, где фантастика и невозможное становится реальным. Основные области интересов для меня это зрительная бионика, офтальмология, нейротехнологии, виртуальная и дополненная реальность, искусственный интеллект во всех его вариациях, новые технологии, предпринимательство, дизайн, прототипирование, софтверные и «железные» разработки. Я верю в прогресс, популяризирую его и мечтаю застать такое будущее, в котором меня окружают специалисты, буквально меняющие мир. Я убежден, что такое возможно только совместными усилиями и когда вместе объединяются люди, которым мало просто наблюдать и использовать, которые хотят изучать новое и создавать технологические решения своими руками. Мы создаем Aspectum, чтобы объединять.
Авторский умный помощник для студентов, практикующих докторов и ученых из области офтальмологии на основе алгоритмов больших языковых моделей:
Старт пути
Родился в небольшом городке под названием Железноводск. Тогда местные называли его деревней или селом, а сегодня это один из самых красивых городов на Кавказских Минеральных Водах. Там я окончил общую школу, музыкальную, художественную, спортивную, там же понял, что нет ничего, что я не смог бы сделать, если найду достаточно времени.
Образование
Пропустим обучение в Железноводске, пожалуй оттуда полезно только то, что я закончил химико-биологический класс и понял, что халява не для меня.
С 2005 по 2011 г. обучение на факультете «лечебное дело» на базе Астраханской Государственной Медицинской Академии и там же интернатура с 2011 по 2012 г. Моим научным руководителем была Рамазанова Лия Шамильевна. Помню как мы стояли у Александровской больницы и она спросила, не хочу ли я в Москву. Тогда я искренне думал, что в Москве все гении и мне было страшно, но ответил: «Да, хочу». Тут помимо основного еще и академию массажа окончил.
С 2012 по 2014 г. проходил ординатуру по специальности «офтальмология» на базе головного МНТК «Микрохирургия глаза» им. акад. С.Н. Федорова. Там же с 2014 по 2017 г. проходил аспирантуру и защитился, тему можно посмотреть тут. Моим научным руководителем была Ирина Альфредовна Мушкова, а непосредственным куратором - Майчук Наталия Владимировна. К слову, тогда я вел колонку новостей в журнале «Новое в офтальмологии» и курировал проект Argus II.
Автор 17 российских и зарубежных публикаций, 11 патентов, рецензент зарубежных и россйских журналов, а также методического пособия по Argus II.
Завершил несколько курсов по патентованию, питону, ИИ, основам предпринимательства и еще несколько.
Самостоятельно совершенствовал художественные скилы с капитальным переходом на цифру (растр и вектор), по фотографии и ее обработке, 3Dмоделированию, прототипированию. (изучение и эксперименты с 3Dпринтерами), визуализации, моушн дизайну, скульптингу, презентации с поведенческой и когнитивной психологией для управления вниманием, прокачка выступлений. Без этого всего я не смог бы заниматься тем, чем сейчас занимаюсь 100%. Эту страницу, кстати, я тоже спроектировал и сделал сам.
С 2005 по 2011 г. обучение на факультете «лечебное дело» на базе Астраханской Государственной Медицинской Академии и там же интернатура с 2011 по 2012 г. Моим научным руководителем была Рамазанова Лия Шамильевна. Помню как мы стояли у Александровской больницы и она спросила, не хочу ли я в Москву. Тогда я искренне думал, что в Москве все гении и мне было страшно, но ответил: «Да, хочу». Тут помимо основного еще и академию массажа окончил.
С 2012 по 2014 г. проходил ординатуру по специальности «офтальмология» на базе головного МНТК «Микрохирургия глаза» им. акад. С.Н. Федорова. Там же с 2014 по 2017 г. проходил аспирантуру и защитился, тему можно посмотреть тут. Моим научным руководителем была Ирина Альфредовна Мушкова, а непосредственным куратором - Майчук Наталия Владимировна. К слову, тогда я вел колонку новостей в журнале «Новое в офтальмологии» и курировал проект Argus II.
Автор 17 российских и зарубежных публикаций, 11 патентов, рецензент зарубежных и россйских журналов, а также методического пособия по Argus II.
Завершил несколько курсов по патентованию, питону, ИИ, основам предпринимательства и еще несколько.
Самостоятельно совершенствовал художественные скилы с капитальным переходом на цифру (растр и вектор), по фотографии и ее обработке, 3Dмоделированию, прототипированию. (изучение и эксперименты с 3Dпринтерами), визуализации, моушн дизайну, скульптингу, презентации с поведенческой и когнитивной психологией для управления вниманием, прокачка выступлений. Без этого всего я не смог бы заниматься тем, чем сейчас занимаюсь 100%. Эту страницу, кстати, я тоже спроектировал и сделал сам.
Профессиональный путь
Подогнать на старте эффектную работу, которой мне можно было бы сейчас похвастаться оказалось некому, поэтому хвастаться нечем, поэтому пробовал то, что находил. Хотя во всем есть плюсы, например, я точно знаю где здоровее еда: в Сабвее или Макдаке.
Клиническая деятельность по офтальмологическому профилю с 2011г. по 2019 г. (частные клиники, различные оптики, подбор сложной коррекции было моей страстью и сильной стороной).
В 2015 г. запустил свой первый профессиональный канал в ВК, сейчас он переделан в личный блог. В 2020 г. канал по визуалу для офтальмологов. В 2021 г. оригинальный канал VR-офтальмолог.
С 2017 г. Руководитель медицинских проектов в Лаборатории «Сенсор-Тех». С 2019 г. Руководитель проекта ELVIS V (кортикальный зрительный имплант). Автор VR-симуляторов для симуляции болезней глаз (SMW VR, SeeMyWorld, SMW Pro (сам делал)), бионического зрения, для обучения, помощи в тифлокомментировании (SMW Tiflo) и слабовидящим (SMW Patch). Курировал три проекта по офтальмогенетике и организацию установки первых в стране операций по установке имплантов Argus II.
В 2019 г. руководитель научной группы в компании WayRay, работа над проектом по разработке голографических контактных линз (разработка концепции искусственного глаза, анализ зрительного восприятия, фундаментальная оценка безопасности голографических лазеров для сетчатки, формирование медицинской части команды).
С 2020 г. - генеральный директор стартапа NOE. Здесь разработка медицинских VR/AR симуляторов для обучения диагностике и микрохирургии, а также диагностического оборудования с ИИ-ассистентами. Организовал первые в мире офтальмологические VR-конференцию, VR-живую хирургию и
VR-телемедицину. Разработка фундус камеры с ИИ.
В 2021 г. руководитель научной группы в ImderiusGroup. Исследовательский проект по разработке технологии VR с прямой стимуляцией мозга (концепция полного погружения в метавселенные, интернет чувств).
С 2021 г. эксперт в MedTech акселераторе Сеченовского университета «Sechenov Tech»
С 2024 г. Сооснователь технологической MedTech компании «Нейроимпланты Элвис».
Клиническая деятельность по офтальмологическому профилю с 2011г. по 2019 г. (частные клиники, различные оптики, подбор сложной коррекции было моей страстью и сильной стороной).
В 2015 г. запустил свой первый профессиональный канал в ВК, сейчас он переделан в личный блог. В 2020 г. канал по визуалу для офтальмологов. В 2021 г. оригинальный канал VR-офтальмолог.
С 2017 г. Руководитель медицинских проектов в Лаборатории «Сенсор-Тех». С 2019 г. Руководитель проекта ELVIS V (кортикальный зрительный имплант). Автор VR-симуляторов для симуляции болезней глаз (SMW VR, SeeMyWorld, SMW Pro (сам делал)), бионического зрения, для обучения, помощи в тифлокомментировании (SMW Tiflo) и слабовидящим (SMW Patch). Курировал три проекта по офтальмогенетике и организацию установки первых в стране операций по установке имплантов Argus II.
В 2019 г. руководитель научной группы в компании WayRay, работа над проектом по разработке голографических контактных линз (разработка концепции искусственного глаза, анализ зрительного восприятия, фундаментальная оценка безопасности голографических лазеров для сетчатки, формирование медицинской части команды).
С 2020 г. - генеральный директор стартапа NOE. Здесь разработка медицинских VR/AR симуляторов для обучения диагностике и микрохирургии, а также диагностического оборудования с ИИ-ассистентами. Организовал первые в мире офтальмологические VR-конференцию, VR-живую хирургию и
VR-телемедицину. Разработка фундус камеры с ИИ.
В 2021 г. руководитель научной группы в ImderiusGroup. Исследовательский проект по разработке технологии VR с прямой стимуляцией мозга (концепция полного погружения в метавселенные, интернет чувств).
С 2021 г. эксперт в MedTech акселераторе Сеченовского университета «Sechenov Tech»
С 2024 г. Сооснователь технологической MedTech компании «Нейроимпланты Элвис».
Портфолио
Разработки, дизайн и проекты, которые запускал сам или в которых принимал участие.
Глазной Подорожник - ИИ помощник на основе LLM
Начало 2025 года стало и стартом уверенного развития направления промпт-инжиниринга больших языковых моделей под конкретные задачи. Первым таким результатом стал бот ChatGPT "Глазной подорожник". Такое имя он получил, потому что модель заточена узко под офтальмологов, а подорожник - это российский мем, который универсален для лечения любой раны. Этому продукту предшествовало долгое изучение предметной области, проведено множество экспериментов, изучение массы статей. Теперь, в свободном доступе есть инструмент, который может помочь любому офтальмологу быстро сориентироваться в проблеме. В модели предусмотрено три ветки специалистов: студенты, практикующие и эксперты, для каждого из них результат разный.
Также, начиная с третьей версии, в модели предусмотрено обучение специалистов навыкам коммуникации по различным методикам, которые отрабатывают структуру разговора с пациентом, эмпатию и другое. Предусмотрено три уровня сложности пациентов от обычных, до казуистических, требующих высокого мастерства управления конфликтами.
Помимо Подорожника разработаны и другие модели. Создание персональных ИИ-ассистентов на основе ChatGPT доступны для заказа.
Также, начиная с третьей версии, в модели предусмотрено обучение специалистов навыкам коммуникации по различным методикам, которые отрабатывают структуру разговора с пациентом, эмпатию и другое. Предусмотрено три уровня сложности пациентов от обычных, до казуистических, требующих высокого мастерства управления конфликтами.
Помимо Подорожника разработаны и другие модели. Создание персональных ИИ-ассистентов на основе ChatGPT доступны для заказа.
Имплант ELVIS V
Проект по разработке кортикальной зрительной протезной системы, которая получила название ELVIS (ELectronicVISion) V. Проект реализуется Лабораторией «Сенсор-Тех». С 2022 г. я являюсь его руководителем. В 2019 г. создавал концепцию имплантируемой части, спроектировал и замоделировал ее вместе с анатомическим блоком для понимания принципа установки и передачи данных и питания. В будущем, возможно, итоговый дизайн будет изменен, но на сегодняшний день он остается рабочим и используется как прототип.
Статус проекта: проект находится на этапе доклинических испытаний с участием приматов для проведения функциональных тестов. В 2022 г. примату был поставлен первый электрод отечественного производства.
Статус проекта: проект находится на этапе доклинических испытаний с участием приматов для проведения функциональных тестов. В 2022 г. примату был поставлен первый электрод отечественного производства.
Предшественники адаптеры для щелевой лампы
Желание создать свой адаптер берет свое начало в 2015 году, когда надоедает держать смартфон в руке и нужно придумать какое-то решение. Тогда был спроектирован и собран из подручных средств первый адаптер, но он прожил примерно до первой съемки, сохранившись лишь на страницах моей первой авторской статьи. Далее мысль продолжила развиваться в концепцию телемедецинских консультаций, тогда они еще не были мейнстримом.
В 2016 г. я покупаю свой первый iPad Pro со стилусом и это была одна из моих самых важных покупок в жизни. Также покупаю софт для 3Dмоделирования и начинаю проектировать различные вариации адаптеров для 3D печати. Однако, к сожалению, на тот момент принтеры стоили еще дорого, были плохого качества и попросить было некого, поэтому эти версии до сих пор остаются в виде виртуальных моделей и ждут своего часа. Однажды я их изготовлю, чтобы проверить насколько правильно смог спроектировать каждый из вариантов.
В 2016 г. я покупаю свой первый iPad Pro со стилусом и это была одна из моих самых важных покупок в жизни. Также покупаю софт для 3Dмоделирования и начинаю проектировать различные вариации адаптеров для 3D печати. Однако, к сожалению, на тот момент принтеры стоили еще дорого, были плохого качества и попросить было некого, поэтому эти версии до сих пор остаются в виде виртуальных моделей и ждут своего часа. Однажды я их изготовлю, чтобы проверить насколько правильно смог спроектировать каждый из вариантов.
Умный адаптер для щелевой лампы NOE-SL
Это проект по разработке адаптера для щелевой лампы. С помощью него доктор смог бы делать профессиональные снимки без потери времени - все должно быть легко и на уровне интуитивных движений. NOE-SL умный, потому что вместе с этим адаптером велась разработка программного обеспечения на основе искусственного интеллекта и знаний цифрового дизайна.
Мне известно как сделать действительно классную фотографию глаза на смартфоне, даже если ты новичок. Поэтому в сопроводительное ПО должны быть зашиты настройки камеры для каждого сегмента глаза при различных условиях освещения, чтобы можно было просто выбрать что ты снимаешь и камера сразу настраивается. Такой подход становится реальным, когда ты понимаешь природу цифровой фотографии и имеешь большой опыт ее обработки.
Статус проекта: есть рабочий прототип, уперся в проблему разных окуляром, надо доделывать. Как это работает можно посмотреть на видео.
Мне известно как сделать действительно классную фотографию глаза на смартфоне, даже если ты новичок. Поэтому в сопроводительное ПО должны быть зашиты настройки камеры для каждого сегмента глаза при различных условиях освещения, чтобы можно было просто выбрать что ты снимаешь и камера сразу настраивается. Такой подход становится реальным, когда ты понимаешь природу цифровой фотографии и имеешь большой опыт ее обработки.
Статус проекта: есть рабочий прототип, уперся в проблему разных окуляром, надо доделывать. Как это работает можно посмотреть на видео.
Кнопка на джойстик щелевой лампы для фотографирования смартфоном
Это проект по разработке кнопочки в виде прикрепляемого к джойстику щелевой лампы модуля. Она нужна на тот случай, если доктор использует смартфон, чтобы фотографировать глаз через щелевую лампу. Каждый раз поднимать руку для нажимания на экран (если используется адаптер) не удобно, а если смартфон приходится держать в руках. то еще неудобней. С этой кнопкой процесс становится максимально интуитивным потому что достаточно нажать на кнопку большим пальцем, такой принцип давно используется на различном офтальмологическом оборудовании. У меня есть две версии, одна перезаряжаемая (видео), но ее наверное проблемно обрабатывать и одна не перезаряжаемая (видео), которой хватает на относительно длительный срок.
Статус проекта: спроектировано две версии, обе изготовлены и одна из них прошла тест, на видео от коллеги можно посмотреть как это работает.
Статус проекта: спроектировано две версии, обе изготовлены и одна из них прошла тест, на видео от коллеги можно посмотреть как это работает.
Предшественник адаптера для фундус фотографий
Первым вариантом адаптера, с помощью которого доктор мог бы получать снимки глазного дна, была фактически рама, которая должна была надеваться на смартфон и удерживаться за счет естественного упора по типу «рычага». Вдохновлен этот адаптер был другими описанными в литературе решениями, в частности этой. моя цель была усовершенствовать конструктивно и эстетически.
Статус проекта: этот вариант в итоге был только спроектирован и замоделирован, но до изготовления не дошло, поэтому он ждет своего часа.
Статус проекта: этот вариант в итоге был только спроектирован и замоделирован, но до изготовления не дошло, поэтому он ждет своего часа.
Адаптер для фундус фотографий
Это проект по разработке адаптера для смартфона, с помощью которого можно будет делать фотографии глазного дна. Взят принцип трубы фирмы Volk, по сути это форма реинжиниринга, поскольку была взята оригинальная конструкция, разобрана. замерена, замоделирована, адаптирована под чехол другого смартфона, изменено крепление (теперь оно съемное и по идее одна труба с одной линзой может быть зафиксирована на чехлах под разные смартфоны), на 3D принтере выращен прототип и протестирован.
Статус проекта: изготовлен прототип под IPhone 12 Pro, но картинка глазного дна не получена, поэтому требуется перерасчет расстояний, корректировка модели, выращивание нового прототипа и тестировка. Расчет на сначала будет проведен "ручным" способом в виде подгонки - с помощью конструкции из интернета. Правда ее кольцо пришлось переделать в итоге, поскольку линза в 20 диоптрий на руках не пролезла.
Статус проекта: изготовлен прототип под IPhone 12 Pro, но картинка глазного дна не получена, поэтому требуется перерасчет расстояний, корректировка модели, выращивание нового прототипа и тестировка. Расчет на сначала будет проведен "ручным" способом в виде подгонки - с помощью конструкции из интернета. Правда ее кольцо пришлось переделать в итоге, поскольку линза в 20 диоптрий на руках не пролезла.
Портативная фундускамера с ИИ ассистентом NOE-Fundus
ИИ для анализа офтальмологических изображений меня привлекает уже многие годы и за несколько лет было сделано много чего. В итоге, с учетом особенностей организации здравоохранения все пришло к осознанию, что надо создавать и делать свой портативный девайс, который сможет выполнять задачу платформы для разработчиков СППВР, которые через нее смогут коммерчески реализовывать свой продукты. Ниже есть презентация с описанием авторской инфраструктуры, без которой офтальмологического ИИ 100% не будет. Представьте, что во всех поликлиника есть такие устройства и через него можно продать свой СППВР - так и разработчикам интересно, и клиникам, потому что будет появляться все больше ИИ решений. Мною были замоделированы две версии: сначала для взрослых, потом для детей. Вообще по-началу мы целились на детский вариант с возможностью легкой модификации корпуса всякими прикольными штуками.
Статус проекта: проект прошел этап прототипирования, выполнен промышленный дизайн за микро грант Сколково, а сейчас встал на паузу на этапе промышленного дизайна из-за отсутствия ресурсов, идет поиск финансирования. Сам пром дизайн (который с пузырьками) авторства Smirnov Design, а рендеры уже мои. Ссылка на презентацию проекта. Видео с первым прототипом.
Статус проекта: проект прошел этап прототипирования, выполнен промышленный дизайн за микро грант Сколково, а сейчас встал на паузу на этапе промышленного дизайна из-за отсутствия ресурсов, идет поиск финансирования. Сам пром дизайн (который с пузырьками) авторства Smirnov Design, а рендеры уже мои. Ссылка на презентацию проекта. Видео с первым прототипом.
3D глаз из УЗИ
Руководство проектом по разработке контактной линзы для создания трехмерных моделей глаза на данных УЗИ. Метод необходим для визуализации в первую очередь позиции инородных тел внутри глаза. Помимо линзы спроектированы дополнительные внешние датчики для корректировки данных.
Идея проекта принадлежит Золотареву А.В.
Статус проекта: разработана концепция, спроектирована электроника, собран работающий прототип. Поиск финансирования и программистов для 3D реконструкции глаза на основании сырых данных УЗИ, работа над патентом.
Идея проекта принадлежит Золотареву А.В.
Статус проекта: разработана концепция, спроектирована электроника, собран работающий прототип. Поиск финансирования и программистов для 3D реконструкции глаза на основании сырых данных УЗИ, работа над патентом.
Хирургический симулятор NOE-SGR
В 2020 году, в довесок к гранту ФСИ, основная работа по которому была связана с VR-симулятором, небольшая часть средств была запланирована на разработку концепции хирургического тренажера и изготовление прототипа. По существу мне нужен был доступ к 3D принтеру, потом у то своего нет и без него все останется лишь «на бумаге». Первая версия, которую я замоделировал представляла собой что-то типа конструктора в виде элементов глаза и комбинируя которые можно было бы отрабатывать различные моторные навыки. Тогда я впервые познакомился с принтером и узнал его возможности и ограничения.
Вторая версия муляжа была уже сомастоятельным структурным элементом, который должен был фиксироваться на системе поршней. Но изготовить такие мелкие детали было на от момент не реально.
Третья версия представляла собой уже неплохо проработанную концепцию бокала, в который можно было бы вставлять различные дизайны глаз-сфер под отработку разнызных манипуляций, но ножки остались теми же не рабочими.
Последняя четвертая версия моделировалась уже не мной, а Smirnov Design в рамках микрогранта Сколково на промдизайн. Здесь опытные конструкторы уже предусмотрели систему ротации в замен поршням, добавили элементы для установки электроники, оставив концепцию сменных глаз-сфер. Также был разработан дизайн лица. Здесь помимо курсирования моим остается визуализация и дизайн.
Статус проекта: в настоящий момент в активной фазе разрабатка электроники для трекинга четырех хирургических инструментов. Поиск партнеров и финансирования.
Вторая версия муляжа была уже сомастоятельным структурным элементом, который должен был фиксироваться на системе поршней. Но изготовить такие мелкие детали было на от момент не реально.
Третья версия представляла собой уже неплохо проработанную концепцию бокала, в который можно было бы вставлять различные дизайны глаз-сфер под отработку разнызных манипуляций, но ножки остались теми же не рабочими.
Последняя четвертая версия моделировалась уже не мной, а Smirnov Design в рамках микрогранта Сколково на промдизайн. Здесь опытные конструкторы уже предусмотрели систему ротации в замен поршням, добавили элементы для установки электроники, оставив концепцию сменных глаз-сфер. Также был разработан дизайн лица. Здесь помимо курсирования моим остается визуализация и дизайн.
Статус проекта: в настоящий момент в активной фазе разрабатка электроники для трекинга четырех хирургических инструментов. Поиск партнеров и финансирования.
Хирургический стол
Для работы с хирургическим муляжом, необходимо создать некую конструкцию, где он будет располагаться, чтобы имитировать элементы операционной и чтобы студент смог обучаться. Для этого я создал концепт, спроектировал конструкцию и замоделировал хирургический стол, который предполагает возможность размещения муляжей для различных видов хирургии (в шкафчиках), имитацию направленного хирургического освещения, фиксацию системы трекинга под столешницей, подключение педалей для инструментов, шкаф для инструментов и отсек для ПК, выдвигающийся монитор для обучения навыку 3D хирургии и перегородка (чтобы избежать напрягающего внимания). Еще здесь спроектирован стул для упора на колени, но похоже это вариант только для отработки тех видов навыков, которые не предполагают педалей.
Изначально был спроектирован стол, в котором я не знал насколько объемной будет электроника, поэтому вмонтировал излучатель в столешницу. В этом дизайне предполагается также сенсорная клавиатура (светится).
Статус проекта: разработан концепт, адаптированный под обучение без VR и в виртуальной реальности. Поиск финансирования и партнеров.
Изначально был спроектирован стол, в котором я не знал насколько объемной будет электроника, поэтому вмонтировал излучатель в столешницу. В этом дизайне предполагается также сенсорная клавиатура (светится).
Статус проекта: разработан концепт, адаптированный под обучение без VR и в виртуальной реальности. Поиск финансирования и партнеров.
Хирургический коворкинг
На мой взгляд идеальным является подход, когда у человека, который решил стать на путь хирурга, нет ограничений в достижении этой цели. Исторически сложилось так, что будучи студентом нет никакой гарантии, что у тебя будет идеальное обучение, потому что где-то мало пациентов, где-то нет редкой патологии, нет хорошего наставника и так далее. Для хирургического образования будущего таких оправданий быть не должно и то, насколько хорошим станет хирург будет зависеть исключительно от него самого.
Чтобы такое стало возможным, должны существовать хирургические коворкинги, расположенные по всей стране, которые работают 24/7 и без выходных, в которых можно записаться, прийти, выбрать нужный муляж, залогиниться и начать спокойно отрабатывать умения с экраном или в виртуальной реальности, в одиночку или в команде. При этом собирается вся аналитика с применением интеллектуальных алгоритмов, формируется персональная программа обучения для достижения конкретных целей, рассчитываются риски для каждого студента в отношении его пациентов и так далее. И здесь может обучаться хирург любой специальности, также есть экраны, этот элемент наверное понятен без объяснений.
Статус проекта: проект находится в ожидании завершения разработки хирургического стола и поиске инвестиций и партнеров.
Чтобы такое стало возможным, должны существовать хирургические коворкинги, расположенные по всей стране, которые работают 24/7 и без выходных, в которых можно записаться, прийти, выбрать нужный муляж, залогиниться и начать спокойно отрабатывать умения с экраном или в виртуальной реальности, в одиночку или в команде. При этом собирается вся аналитика с применением интеллектуальных алгоритмов, формируется персональная программа обучения для достижения конкретных целей, рассчитываются риски для каждого студента в отношении его пациентов и так далее. И здесь может обучаться хирург любой специальности, также есть экраны, этот элемент наверное понятен без объяснений.
Статус проекта: проект находится в ожидании завершения разработки хирургического стола и поиске инвестиций и партнеров.
Симулятор для диагностики NOE-VR
Один из самых красивых моих проектов на ряду с ELVIS V. Он был запущен на деньги гранта ФСИ (СТАРТ-ЦТ, 3 млн), тогда же был зарегистрирован стартап NOE.
NOE создает VR-симулятор с искусственным интеллектом, который сможет обучать врачей диагностике и хирургии без участия человека-наставника. ИИ отслеживает прогресс, формирует поведенческий портрет и адаптируется под пользователя, чтобы его обучение было максимально быстрым, лёгким и эффективным (ванпейджер).
Симулятор глобально успел преодолеть 4 итерации от примитивного глаза, до реалистичного с дефектами и щелевой лампой, которой можно управлять. Одной из ключевых особенностей является создание тепловых карт на основе трекинга глаз - теперь и студент и наставник знает что пропустил студент и как именно он изучал структуры глаза. Проект был пропилотирован на базе Хирургического центра Пирогова. В рамках этого пилота также набирались данные для обучения ИИ, который формирует поведенческий портрет. Для этого создавались специальные VR-лаборатории для оценки когнитивных особенностей. Отсюда, кстати, выросла концепция для создания "Лаборатории метатехнологий".
Статус проекта: на паузе, поиск партнеров и финансирования.
NOE создает VR-симулятор с искусственным интеллектом, который сможет обучать врачей диагностике и хирургии без участия человека-наставника. ИИ отслеживает прогресс, формирует поведенческий портрет и адаптируется под пользователя, чтобы его обучение было максимально быстрым, лёгким и эффективным (ванпейджер).
Симулятор глобально успел преодолеть 4 итерации от примитивного глаза, до реалистичного с дефектами и щелевой лампой, которой можно управлять. Одной из ключевых особенностей является создание тепловых карт на основе трекинга глаз - теперь и студент и наставник знает что пропустил студент и как именно он изучал структуры глаза. Проект был пропилотирован на базе Хирургического центра Пирогова. В рамках этого пилота также набирались данные для обучения ИИ, который формирует поведенческий портрет. Для этого создавались специальные VR-лаборатории для оценки когнитивных особенностей. Отсюда, кстати, выросла концепция для создания "Лаборатории метатехнологий".
Статус проекта: на паузе, поиск партнеров и финансирования.
Симуляторы болезней глаз
В 2017 г., когда я курировал проект по установке ретинальных имплантов Argus II, появилась необходимость разработки VR-симулятора бионического зрения, с помощью которого можно было бы увидеть «глазами» пациента и на на одном с ним языке объяснять как и по каким признакам идентифицировать объекты. Со временем мы поняли, что можно также создать и симулятор болезней глаз, в результате чего мной был разработан симулятор на ПК, в последствии портированный на смартфоны в виде приложений для пациентов SeeMyWorld (Android и iOS), затем адаптирован для профессиональных тифлокомментаторов и в конце концов закончившись профессиональной версией на iOS SMW Pro.
Последняя версия представляет собой шедевр в виде мощного графического редактора - буквально видео фотошопа для офтальмологов. Он создавался так, чтобы офтальмолог видел в интерфейсе привычные ему элементы и мог перенести данные реальных обследований в симулятор, создав зрение конкретного человека.
Статус проекта: приложение доступно бесплатно по всему миру.
Последняя версия представляет собой шедевр в виде мощного графического редактора - буквально видео фотошопа для офтальмологов. Он создавался так, чтобы офтальмолог видел в интерфейсе привычные ему элементы и мог перенести данные реальных обследований в симулятор, создав зрение конкретного человека.
Статус проекта: приложение доступно бесплатно по всему миру.
VR очки для слабовидящих SMW Patch
Иногда случается так, что человек безвозвратно теряет зрение почти полностью и становится слабовидящим. В таких случая доктор вынужден развести руками, потому что ни препараты, ни хирургия помочь не в силах. В этом проекте Лаборатории «Сенсор-Тех» смартфон выступает в качестве фильтра, который трансформирует реальное изображение из окружения в такое, в котором слабовидящий человек может увидеть детали. Была разработана программа, которая берет картинку с камеры, а затем либо меняет ее размеры (как лупа или наоборот), либо увеличивает только горизонтальную часть, чтобы можно было читать как с лупой, но при этом часть текста оставалась обычных размеров, также возможно делать цветокоррекцию как в обычных цифровых лупах и смещать изображение из центра в другую область, когда у человека поражено центральное зрение и он вынужден смотреть боковыми зонами поля зрения. Я занимался описанием концепции, курировал проект и создавал всю визуальную часть приложения.
Статус проекта: для Android и iOS доступны бесплатные версии приложения, необходимо только приобрести мобильные VR-очки. Поиск финансирования на персонализированную Pro версию.
Статус проекта: для Android и iOS доступны бесплатные версии приложения, необходимо только приобрести мобильные VR-очки. Поиск финансирования на персонализированную Pro версию.
Модель щелевой лампы и стола
Щелевая лампа проектировалась и моделировалась для решения двух задач: для VR-симулятора, чтобы обучать диагностике, а также для проектирования цифровой щелевой лампы как реального устройства (ЩЛ с ИИ ассистентом, который определяет дефекты переднего и заднего отрезков глаза, вот презентация). В качестве творческого продолжения конструкция лампы была адаптирована под дальнейшую 3D печать, то есть разделена на узлы и таким образом, чтобы их можно было вырастить на фотополимерном принтере. Далее детали обрабатывались и были собраны в конструкцию.
В дополнение к щелевой лампе проектировался и моделировался механический стол, который в дальнейшем регулярно использовался для всех моделей, которые этого требовали (топограф, фундус камера, адаптеры и так далее).
В дополнение к щелевой лампе проектировался и моделировался механический стол, который в дальнейшем регулярно использовался для всех моделей, которые этого требовали (топограф, фундус камера, адаптеры и так далее).
Модель кератотопографа
Проектировался для проекта NOE-VR, чтобы показать компании-разработчику, что можно сделать симулятор, в котором доктора смогут сколько угодно, когда угодно и без стресса изучать прибор. Очень часто специалисты бояться изучать из-за риска сломать, меня так вообще отстранили от Pentacam во время написания диссертации, потому что руководство посчитало, что медсестры более квалифицированные, а в итоге под конец моей работы данные собирали люди, которые не умеют толком пользоваться прибором и пришлось исключать кривые данные. Многие доктора спрашивают на форумах как интерпретировать карты, а это значит, что представители не добиваются успешного обучения. В парадигме VR можно интегрировать весь интерфейс, имитировать диагностику конкретных патологий, сделать обучающие модули и даже подключить дистанционно представителя компании, чтобы тот ответил на вопросы так, как он делает это обычно на выставках.
Здесь я стремлюсь к созданию виртуальной выставки, в которой есть все офтальмологическое оборудование, где можно в любой момент изучить любой прибор, сравнить характеристики и пообщаться с представителями компаний производителей.
Статус проекта: на паузе, на видео в общих чертах показано как работает VR-симулятор с таким прибором и минимальной механикой. Проект в поиске партнеров и финансирования.
Здесь я стремлюсь к созданию виртуальной выставки, в которой есть все офтальмологическое оборудование, где можно в любой момент изучить любой прибор, сравнить характеристики и пообщаться с представителями компаний производителей.
Статус проекта: на паузе, на видео в общих чертах показано как работает VR-симулятор с таким прибором и минимальной механикой. Проект в поиске партнеров и финансирования.
Подбородник для детей
Пример разработки, которая выросла из проблемы, с которой сталкивается практикующий офтальмолог в своей работе. Это история про моего друга и коллегу Павла Карамышева, он детский офтальмолог и столкнулся с тем, что дети не достают на приборе до упора для лба и это вызывает сложности при их диагностике. Павел сделал проект изделия, а я доработал его в несколько итераций. Видео об изделии.
Статус проекта: изделие продается в виде напечатанных на 3D принтере изделий, заказы принимаются.
Статус проекта: изделие продается в виде напечатанных на 3D принтере изделий, заказы принимаются.
ELVIS Self Assistant
Есть в проекте ELVIS V есть одна интересная задача, решение которой должно помочь в коммуникации с претендентами на установку импланта. Фишка в том, в для этой технологии только предоперационной диагностики не достаточно и каждый претендент проходит психологическое тестирование как космонавт, в детали вдаваться не буду. Так вот в процессе разговора очень важно выявить определенные особенности, а упустить их не очень сложно, поэтому тут либо консилиум собирать каждый раз, либо сделать так, чтобы было кому вовремя подсказать. Для этого создается ассистент реабилитолога ELVIS Self Assistant. Детали под NDA, но могу показать результат быстрого проектирования, моделирования и визуализации возможных сценариев использования.
Статус проекта: в разработке, проект может быть масштабирован на всю медицину и другие направления, поэтому ресурсный интерес приветствуется.
Статус проекта: в разработке, проект может быть масштабирован на всю медицину и другие направления, поэтому ресурсный интерес приветствуется.
Белая трость
Не для всех очевидно на самом деле, но когда неискушенный человек представляет себе использование технологии ELVIS V или любого другого зрительного импланта, который должен вернуть зрительные функции, то видит это как самостоятельное устройство, как будто пользователь должен обходится только им. Признаться я тоже так думал, пока не прошел с незрячими весь путь реабилитации Argus II. На сегодняшний день технологии не могут вернуть полноценное зрение, к сожалению, это факт и ученые во всем мире думают как создать, как соединить существующие технологии вместе, чтобы дать человеку максимум информации об окружении и в результате обеспечить его независимость от родных и близких ему людей.
Здесь я познакомлю вас с белой тростью и с тем, что пользователям ELVIS V тоже надо будет ею пользоваться, чтобы как бы «дорисовывать» картинку недостающей информацией. Мы изучаем как можно изменить трость, чтобы она была максимально полезной для наших пользователей, дополняя ее полезными штуками. На иллюстрациях замоделированная мною трость.
Статус проекта: в активной разработке, здесь только скелет/скетч, которому дальше предстоит измениться самому, чтобы улучшить опыт ориентации незрячего.
Здесь я познакомлю вас с белой тростью и с тем, что пользователям ELVIS V тоже надо будет ею пользоваться, чтобы как бы «дорисовывать» картинку недостающей информацией. Мы изучаем как можно изменить трость, чтобы она была максимально полезной для наших пользователей, дополняя ее полезными штуками. На иллюстрациях замоделированная мною трость.
Статус проекта: в активной разработке, здесь только скелет/скетч, которому дальше предстоит измениться самому, чтобы улучшить опыт ориентации незрячего.
Модель DBS импланта
Есть у меня есть один пунктик, связанный с визуализацией и качеством подачи материала, наверняка это заметно.
ELVIS это не только про зрение, тут еще и кохлеарный имплант ELVIS C и имплант для глубокой стимуляции мозга ELVIS DBS. Для презентации я проектировал такую модель и там понеслось, много ракурсов, научился чертежи делать. Тогда я еще понятия не имел о внутренней структуре импланта и поэтому тут в итоге получилась просто красивая картинка, которая не имеет никакой-то коммерческой ценности. Хотя создавалась эта модель несомненно по результатам анализа литературы, вы можете посмотреть как я обычно подхожу к такой задаче - люблю разворачивать визуально структуры проектов.
В этом проекте я выступаю в качестве эксперта по медицинским вопросам, соединяю инженерную команду и практикующих специалистов, техноклинический мостик, так сказать.
Статус проекта: это просто моделька.
ELVIS это не только про зрение, тут еще и кохлеарный имплант ELVIS C и имплант для глубокой стимуляции мозга ELVIS DBS. Для презентации я проектировал такую модель и там понеслось, много ракурсов, научился чертежи делать. Тогда я еще понятия не имел о внутренней структуре импланта и поэтому тут в итоге получилась просто красивая картинка, которая не имеет никакой-то коммерческой ценности. Хотя создавалась эта модель несомненно по результатам анализа литературы, вы можете посмотреть как я обычно подхожу к такой задаче - люблю разворачивать визуально структуры проектов.
В этом проекте я выступаю в качестве эксперта по медицинским вопросам, соединяю инженерную команду и практикующих специалистов, техноклинический мостик, так сказать.
Статус проекта: это просто моделька.
ИИ для детекции сосудов
Один из проектов с использованием машинного зрения предполагал возможность дифференцировки сосудов, то есть ИИ должен был уверенно понимать где артерии, а где вены. Эта задача была поставлена в помощь всем разрабатываемым решениям на базе фотографий сетчатки, чтобы обеспечить корректировку их действий, чтобы алгоритмы не искали артериальные патологии на венах и наоборот. А также в дальнейшем для описания особенностей анатомии сетчатки и выявления неочевидных закономерностей, которые в последствии смогут что-то улучшить
Статус проекта: сделан прототип, поиск финансирования
Статус проекта: сделан прототип, поиск финансирования
ИИ для определения глаукомы
Целью проекта проекта было определение анатомических параметров диска зрительного нерва. Проект запускался на инициативе как эксперимент.
Статус проекта: продолжения не получил, только опыт.
Статус проекта: продолжения не получил, только опыт.
ИИ для определения нормы
Первый личный проект по ИИ, который был инициирован в 2018 году. В рамках проекта решались три задачи: это создание инструмента для разметки сетчатки, инструмента для создания артефактов и генерации новых «усложненных» снимков, а также инструмент для обучения нейронки.
Главной целью на выходе было определение исключительно нормы, ИИ обучалась норме, чтобы в последствии главное, что умела бы делать программа - это определять что на снимке не так без привязки к каким-либо заболеваниям и прогнозам. Только выявление отклонений.
Статус проекта: проект финансировался из личных средств, сейчас на паузе, поиск партнеров и финансирования.
Главной целью на выходе было определение исключительно нормы, ИИ обучалась норме, чтобы в последствии главное, что умела бы делать программа - это определять что на снимке не так без привязки к каким-либо заболеваниям и прогнозам. Только выявление отклонений.
Статус проекта: проект финансировался из личных средств, сейчас на паузе, поиск партнеров и финансирования.
Экосистема для развития ИИ в клинике и образовании
Помню свой первый интерес к интеллектуальным алгоритмам и большим данным я выразил на первом курсе МНТК, когда предложил профессору партнерство с новосибирским институтом и прорабатку математической модели глаза с детализацией до биохимических каскадов, что бы как минимум знать чего мы не знаем и понимать что надо изучать. Тогда мне ответили: "Это сложно" - и в тот момент внутри меня родился ненавистник к слабым людям со статусом, потому что именно они должны качать все самое сложное, не можешь - не достоин высоких статусов. К слову, за все время я ни разу не усомнился в предложенном пути, и пробовал все, что мог и с кем мог. В результате сформировалась ясная картина что должно быть, чтобы ИИ в нашей стране в принципе развивался и внедрялся. Здесь вы видите мои 3D модели, мысли, детализированную и структурированную инфографику, которая является инструкцией к применению, без которой как бы кто не пыжился, офтальмологического ИИ гарантирую 100% не будет, это кульминация всего пути начиная от идеи студента.
Статус проекта: поиск заинтересантов и финансирования.
Статус проекта: поиск заинтересантов и финансирования.
Ретинальный имплант Argus II
В 2016 г. Президент Фонда поддержки слепоглухих «Со-единение» провел переговоры с компанией Second Sight (сейчас ее купили), чтобы локализовать технологию в России. Лаборатория «Сенсор-Тех» взяла на себя задачу организовать и провести операции по установке имплантов и моей задачей было курировать проект, организовывая поиск претендентов, их диагностику по всей стране, взаимодействие с центром НКЦО, на базе которого проводились операции, контролировать процесс и участников, формированием списка которого я занимался, проводить сессии реабилитации в Москве и Челябинске (там жили два пользователя систем) и т.д. Короче говоря надо было сделать так, чтобы в нашей стране произошло то, что никогда ранее не происходило - тотально слепые люди начали видеть снова. Проект реализовывался при финансовой поддержке Фонда «Искусство, наука и спорт».
Статус проекта: проект закрыт, поскольку ретинальные импланты ушли с рынка и поддержка со стороны производителя прекращена. По результатам проекта опубликована статья в международный журнал, а также разработано методическое пособие. Далее проект перерос в разработку отечественного зрительной кортикальной протезной системы ELVIS V.
Статус проекта: проект закрыт, поскольку ретинальные импланты ушли с рынка и поддержка со стороны производителя прекращена. По результатам проекта опубликована статья в международный журнал, а также разработано методическое пособие. Далее проект перерос в разработку отечественного зрительной кортикальной протезной системы ELVIS V.
ТМС и VR
Перед тем, как тема метавселенных стала широко обсуждаться в СМИ, был организован и запущен вот такой проект, направленный на экспериментальное изучение возможностей полного погружения в виртуальную реальность. Это такая концепция, когда помимо картинки и звуков в VR-шлеме ты можешь испытывать реальные ощущения от прикосновения к листве, ощущать боль, ветер и так далее. Сама идея впечатляет и витает в головах фантастов и футуристов уже давно, например, она очень интересно была раскрыта в аниме Мастера меча онлайн.
Этот проект заказывал венчурный фонд Imperious Group, я выступал научным руководителем группы, спроектировал систему регистрации фосфенов в виде связки специальной сетки на стене и планшете, которая в дальнейшем использовалась и в других подобных проектах, в том числе специальную координатную сетку. Для экспериментов использовался метод транскранеальной магнитной стимуляции, который способен активировать кору мозга, не прибегая к хирургии.
Статус проекта: детали находятся по NDA, подана заявка на патент в США.
Этот проект заказывал венчурный фонд Imperious Group, я выступал научным руководителем группы, спроектировал систему регистрации фосфенов в виде связки специальной сетки на стене и планшете, которая в дальнейшем использовалась и в других подобных проектах, в том числе специальную координатную сетку. Для экспериментов использовался метод транскранеальной магнитной стимуляции, который способен активировать кору мозга, не прибегая к хирургии.
Статус проекта: детали находятся по NDA, подана заявка на патент в США.
Голографическая КЛ
Одним из первых заказных проектов в моей практике была разработка голографических контактных линз от компании WayRay. Не глобально, а некоторые ее части, закрывая медицинские вопросы и рядом с ними. Здесь моей задачей было спроектировать концепцию электронного глаза, на который можно было бы надевать прототипы линз и на экране смотреть что она видит, чтобы безопасно оценивать работу прототипов (приведу только скетчи по причине NDA, конечно). Также я занимался сбором команды со стороны медицины, чтобы проект мог быть в принципе реализован в РФ, здесь в качестве партнерской организации выступала клиника Офтальнова Ольги Рябенко, поскольку уже тогда у них было оборудование для изготовления жестких КЛ, а нужно было именно это. Третья задача, которой я занимался, это было изучение и описание особенностей зрительного восприятия с точки зрения физиологии зрения, чтобы создать такую голограмму, которая не будет отвлекать водителя во время вождения, а только помогать (результаты также использовались для создания выставочного стенда). Ещё одной задачей было провести фундаментальное исследование по оценке безопасности лазеров, которые использовались компанией, здесь был полный цикл (поиск институтов с вивариями, сбор команды, ведение переговоров, разработка модели эксперимента с написанием ТЗ и так далее).
Статус проекта: текущий статус проекта не известен, но есть информация, что часть команды в Дубае продолжает работу над ним.
Статус проекта: текущий статус проекта не известен, но есть информация, что часть команды в Дубае продолжает работу над ним.
VR офтальмология
В плане использования и интеграции VR-технологий в клиническую и научную практику офтальмологии я продвинулся далеко и здесь есть чем похвастаться, поскольку организовал первые в мире офтальмологические VR-конференцию, VR-живую хирургию и VR-телемедицину. Помимо этого был создан первый VR-офтальмолог, который активно развивался, однако сейчас виртуальная площадка не доступна и проект приостановлен.
Статус проекта: по следам проекта совместно с Ретинафондом (Татьяна Аванесова) были проведены две очные конференции с погружением в виртуальную реальность. Видео первой конференции и второй.
Статус проекта: по следам проекта совместно с Ретинафондом (Татьяна Аванесова) были проведены две очные конференции с погружением в виртуальную реальность. Видео первой конференции и второй.
Разное в 3D
Не все мои проекты связаны с серьезной работой или техническими задачами, иногда что-то делается для удобства, оформления сайтов, искусства и так далее. Здесь собраны решения из такой категории - категории всякого разного.
Разное в 2D
Часть деловой и творческой работы не обходидся без "бумаги", хотя в моем случае, с момента покупки планшета, уже в "цифре". Здесь собраны такие результаты. Что-то делалось для себя, что-то для других.
Мотивационное письмо
Мое публичное обещание себе и всем вам приложить все усилия для создания медицины будущего и прогрессивной офтальмологии
“
Когда мне было 12 лет, благодаря музыкальной школе я получил урок, который навсегда изменил мою жизнь. На одном из занятий меня осенило, что любое сложное произведение отличается от простого только тем, как много времени надо на него потратить. Так я понял, что возможно все. Главное успеть.
Сегодня многие технологии, которые меняют жизни людей сложны и для меня важно, чтобы как можно больше людей могли их создавать, потому что я хочу успеть увидеть, как изменится все то, что раньше казалось невозможным. Это моя мечта – успеть пожить в обществе, в котором царит дух прогресса и инноваций.
Будучи студентом, я ни раз видел, как талантливые люди с идеями и желаниями изменить мир к лучшему были задавлены обществом, потому что их не понимали, потому что в них не верили. В итоге они сдавались, оставшись наедине со своими стремлениями, желаниями и способностью видеть иначе. Тогда я твердо решил, что пройду этот путь от и до, чтобы доказать – создавать можно ни смотря ни на что, и что любые препятствия преодолимы. Сегодня я работаю над проектами, которым могут позавидовать многие мечтатели и готов делиться своим опытом, готов помогать и указывать путь.
Человек, благодаря которому я нарисовал свою мечту, увековечил себя в истории и унес эпоху прогресса и свободы мысли вместе с собой. Поэтому этим письмом я даю обещание себе и вам приложить все силы, чтобы создать сообщество людей, которое станет местом бесконечного роста для каждого, кто хочет созидать, сообщество, существование которого не будет подвластно времени.
Сегодня многие технологии, которые меняют жизни людей сложны и для меня важно, чтобы как можно больше людей могли их создавать, потому что я хочу успеть увидеть, как изменится все то, что раньше казалось невозможным. Это моя мечта – успеть пожить в обществе, в котором царит дух прогресса и инноваций.
Будучи студентом, я ни раз видел, как талантливые люди с идеями и желаниями изменить мир к лучшему были задавлены обществом, потому что их не понимали, потому что в них не верили. В итоге они сдавались, оставшись наедине со своими стремлениями, желаниями и способностью видеть иначе. Тогда я твердо решил, что пройду этот путь от и до, чтобы доказать – создавать можно ни смотря ни на что, и что любые препятствия преодолимы. Сегодня я работаю над проектами, которым могут позавидовать многие мечтатели и готов делиться своим опытом, готов помогать и указывать путь.
Человек, благодаря которому я нарисовал свою мечту, увековечил себя в истории и унес эпоху прогресса и свободы мысли вместе с собой. Поэтому этим письмом я даю обещание себе и вам приложить все силы, чтобы создать сообщество людей, которое станет местом бесконечного роста для каждого, кто хочет созидать, сообщество, существование которого не будет подвластно времени.
Медиа
Выступления и доклады на конференциях и в СМИ
чуть-чуть
чуть-чуть
https://youtu.be/UBIt8pP9bWg?si=d4AtLctqHD1tdD16
Мои знания для вас
Теперь, когда вы познакомились с моей экспертизой, опытом и ценностями, здесь будет раздел, где вы сможете выбрать для себя то знание, которым я могу с вами поделиться и которым я смогу быть для ваc полезен.
Сейчас пока ничего нет, лол, но зато вы знаете, что будет, обязательно будет
Сейчас пока ничего нет, лол, но зато вы знаете, что будет, обязательно будет
Организации, в которых я работаю, работал или с которыми у меня партнерские или просто хорошие отношения, были совместные проекты
