Опыт проведения первого всероссийского хакатона в кардиологии Cardio data hack

Аннотация

В статье представлен опыт организации и проведения первого всероссийского хакатона в области кардиологии Cardio data hack UFA 2022 в г. Уфа в ноябре 2022г. Рассматриваются подготовительные этапы проведения хакатона, описываются организационные условия проведения мероприятия, раскрываются способы по взаимодействию участников с организатором, методы оценки заданий. Первый кейс хакатона — распознавание желудочковой бигенемии у пациентов с 24-часовой записью электрокардиограммы, второй — проведение метаанализа источников по оценке эффективности и безопасности пероральных антикоагулянтов при фибрилляции предсердий и хронической почечной недостаточности IV-V стадии. В результате на хакатон было зарегистрировано 179 участников, сформировавших 42 команды, в дальнейшем подтвердили участие только 37 участников, формирующих 8 команд. Конечное решение заданий представили 7 команд, из которых 5 принимали участие в представлении своих результатов, причем только 3 из них дали решения для обоих кейсов. В итоге были получены прототипы решения по распознаванию бигенемии при холтер-мониторировании и качественно проведённые метаанализы по оценке эффективности и безопасности пероральных антикоагулянтов.

Хакатон, как способ коллективного решения определенной проблемы с использованием современных информационных технологий (ИТ) за ограниченное время, получил широкую популярность в последнее десятилетие. Как правило, в рамках хакатона перед участниками ставится задача, основанная на существующей проблеме, зачастую сформулированной вполне конкретным заказчиком, заинтересованным в ее решении. Несмотря на то, что хакатон иногда позволяет специалистам из различных отраслей экономики получить информационное решение своей проблемы, по сути, он является педагогической практикой [1], призванной в т.ч. закрепить формирование профессиональных навыков у студентов на практике [2]. Также многие авторы исследований практики проведения хакатонов ссылаются на его способность формировать компетенции, относящиеся к soft-skills (мягким навыкам), например, умение работать в команде или навыки проектной работы [3]. Несмотря на популярность хакатонов в России и поддержки их проведения на государственном уровне, в частности серии хакатонов «Цифровой прорыв» в рамках реализации национального проекта «Цифровая экономика», применение их для решения медицинских задач встречается редко.

Практика проведения хакатонов именно по медицинской тематике, напротив, достаточно популярна за рубежом. Во многом это объясняется тем, что в рамках хакатона можно представить свою собственную идею инновационного стартапа в области общественного здравоохранения [4]. Многие исследователи практики проведения хакатонов по медицинской тематике отмечают, что, во-первых, это прекрасная возможность участия в междисциплинарных проектах, объединяющих компетенции ИТ-специалистов и медицинских работников, что способствует межпрофессиональному обучению (например, [5]), во-вторых, возможность выращивания поколения новаторов, способных использовать инновационные и предпринимательские подходы для решения сложных задач современной системы здравоохранения [6], в-третьих, возможность внедрения новых методик активного обучения в области медицины, способствующих развитию навыков постановки и решения задач в области цифровизации системы здравоохранения [7]. Причём темы проведения хакатонов в области медицины могут быть различны: от эпидемиологических исследований и вирусологии, до геномики и биоинформатики [8]. Однако проведение хакатонов по медицинской тематике сопряжено с рядом возникающих проблем у организаторов. Одной из проблем является формирование команд специалистов в различных областях, например, врачей-клиницистов, научных сотрудников, ИТ-специалистов, специалистов в области медицинской статистики и др. В связи с этим от организаторов требуется широкое освещение проведения хакатона в средствах массовой информации, а не только в узкопрофессиональных «пабликах», использование электронной платформы, способной объединить специалистов из различных регионов и поддерживать оперативную связь между ними. Другой проблемой является сохранение мотивации у участников к выполнению заданий хакатона. Для решения этой проблемы требуется формирование призового фонда или поиск альтернативных нематериальных способов поощрения участников. Третьей проблемой является формирование компетентного жюри из экспертов различных областей знаний (медицина, ИТ, статистика, фармакоэкономика и др.) и разработка методик согласования экспертных мнений для получения прозрачных и достоверных результатов оценивания участников соревнования. Таким образом, проблема разработки методов организации и процедур проведения хакатона в области медицины является актуальной.

Как известно, кардиология/кардиохирургия является достаточно высокотехнологичной отраслью здравоохранения и связана с большим количеством современных технических и ИТ решений. Несмотря на многочисленные хакатоны в области здравоохранения, по нашим данным, до сих пор не проводился хакатон в области кардиологии.

В данной статье представлен опыт организации и проведения первого всероссийского хакатона в области кардиологии Cardio data hack UFA 2022 в г. Уфа в ноябре 2022г.

Следует отметить, что практически все хакатоны имеют схожие принципы организации, причем ключевым моментом в их проведении является использование современной электронной платформы, поддерживающей онлайн все процедуры мероприятий: от регистрации команд, консультаций экспертов до загрузки подготовленных решений и трансляции выступлений участников. В нашем случае для проведения первого хакатона по сердечно-сосудистой тематике Cardio data hack UFA 2022 в рамках III Евразийского (Российско-Китайского) конгресса по лечению сердечно-сосудистых заболеваний использовалась платформа codenrock. Выбор в пользу этой платформы был обусловлен в т.ч. наличием возможности общения в чате как организаторов с участниками, так и участников между собой, поддержкой видеотрансляции всех промежуточных процедур и итогового представления работ на суд жюри за счет собственного сервиса.

Первым этапом в организации хакатона является разработка правил его проведения, касающихся общих положений (требования к участникам, требования к командам), требований к конечному результату выполнения заданий, порядка и сроков проведения, порядка регистрации на хакатон, требования к защите персональных данных и безопасности проведения мероприятия. Разработанные правила проведения хакатона размещались на платформе, служащей основной площадкой его проведения онлайн.

Вторым этапом проведения хакатона является выбор компаний, в качестве «поставщиков» заданий. Здесь следует отметить, что к заданиям предъявлялись следующие требования: они должны быть современными и интересными для участников, отвечать тематике хакатона, т.е. быть из области кардиологии, подразумевать создание прототипа в виде программного продукта. От самих «поставщиков» заданий требуется определиться с ценными призами, которые получают участники хакатона, а также с критериями оценивания заданий.

Третий этап организации хакатона касается разработки организационных условий его проведений: проведение консультаций экспертами, определение формата представления результатов, разработка методики согласования экспертных мнений.

Формально хакатон проводился в два этапа: первый этап заочный, когда зарегистрированные команды участников выполняли предложенные задания от организаторов (срок 15 дней), и очный этап (онлайн), где участники защищали разработанное ими решение предложенных кейсов. Следует отметить, что готовые решения в виде отчётов по заданиям, скриптов с кодом и презентации участники загружали на платформу в последний день заочного этапа и при очном (онлайн) выступлении авторы уже не могли изменить загруженные решения. В период заочного этапа проводились 2 онлайн консультации с экспертами, составителями кейсов (чекпоинты), также участники могли задавать вопросы как организаторам хакатона, так и составителям заданий в чате платформы конкурса.

В качестве первого задания использовался практический кейс по распознаванию аритмии — желудочковой бигенемии на тестовом наборе (датасете) у пациентов с 24-часовой записью электрокардиограммы (ЭКГ). Участникам предоставлялись наборы размеченных данных ЭКГ, где соответствующий тип аритмии был отмечен специалистами, а также набор «сырых» (неразмеченных) данных ЭКГ, на котором рекомендовалось проверить точность получаемого решения. Данные по ЭКГ представляли из себя записанные в строку значения графика ЭКГ по 7-ми отведениям (I, II, V5, III, aVL, aVR, aVF). Также предоставлялась информация по времени зафиксированного комплекса в миллисекундах от начала суток, по время зафиксированного комплекса в миллисекундах от начала записи, «тип комплекса» — S-наджелудочковый, V#-желудочковый, X и Z — артефакты, «код аритмии» — краткое обозначение зафиксированной аритмии и «аритмия» — наименование аритмии. От участников требовалось разработать программное решение, загрузить его на платформу, а также подготовить презентацию в виде отчета по полученным результатам и применяемым методам. Кейс был предложен производителем комплекса суточного мониторирования ЭКГ Normocard (г. Кемерово).

Во втором задании от участников требовалось провести метаанализ источников по оценке эффективности и безопасности пероральных антикоагулянтов при фибрилляции предсердий и хронической почечной недостаточности IV-V стадии. Причем давалось пояснение, что участники не ограничены ни по выбору исследований, ни по источнику их поиска, ни по количеству исследований, ни по применяемому статистическому инструменту метаанализа, ни по среде моделирования. При этом участникам самостоятельно приходилось принимать решение о включение/исключении исследований в проводимый метаанализ. От участников требовалось представить результаты проведённого метаанализа в виде расширенного отчёта и предоставить скрипт в виде кода для его выполнения.

Основная сложность, с которой столкнулись организаторы, это то, что фактически на проверку результатов, полученных командами участников хакатона, у жюри был всего один день. Дополнительно осложнялось это тем, что эксперты находились в 4 различных часовых поясах России (Москва, Самара (+1), Уфа (+2), Новосибирск (+4)). В связи с этим эксперты заполняли лист экспертного оценивания в соответствии с установленными критериями оценки, разработанными заранее.

Для первой задачи критериями оценки служили: наличие корректно выполненной предобработки исходной информации (20 баллов), наличие расчётных значений метрик качества классификации (сбалансированная точность не <75% на тестовом наборе данных) (25 баллов), наличие готового прототипа по автоматическому распознаванию бигенемии на ЭКГ в виде программного решения (50 баллов), корректно оформленный скрипт программы с комментариями (5 баллов).

Для второй задачи критериями оценки служили: наличие статистически грамотно обоснованной оценки гетерогенности результатов эффекта воздействия препарата в отобранных исследованиях (10 баллов), наличие корректно обоснованного выбора модели с фиксированными или случайными эффектами, проведены все соответствующие статистические тесты (10 баллов), наличие корректного выбора статистического подхода к выполнению метаанализа в зависимости от критериев включения/исключения исследований и их количества с приведением обоснования такого вывода (10 баллов), корректное обоснование критериев включения/исключения (5 баллов), проведение анализа устойчивости полученной обобщённой оценки величины эффекта (5 баллов), наличие корректно и статистически грамотно проведённого анализа полноты включённых в метаанализ исследований (10 баллов), наличие графического сопровождения результатов метаанализа (10 баллов), наличие корректно оформленного с комментариями скрипта метаанлиза и отчета по метаанализу (20 баллов), наличие грамотно написанной статьи по метаанализу (20 баллов).

Каждый эксперт проставлял каждой команде участнице баллы в соответствии с критериями оценивания, затем баллы суммировались по всем экспертам, и на основании полученных оценок проводилась ранжировка команд. Следует отметить, что для оценки согласованности мнений экспертов использовался коэффициент конкордации Кендалла, значимость которого проверялась на основе критерия Фридмена при уровне p<0,05.

Одним из преимуществ проводимого хакатона Cardio data hack UFA 2022 являлось отсутствие ограничений в применении среды разработки, что достаточно редко для Российских мероприятий. В качестве призов по первому заданию предусмотрено было получение холтера для медицинской организации призера, годовая подписка на программное обеспечение к холтеру, Яндекс станция, сувениры и мерч мероприятия. По второму заданию лучший метаанализ был опубликован в журнале «Российский кардиологический журнал. Образование».

В результате на хакатон было зарегистрировано 179 участников, которые сформировали 42 команды, однако в дальнейшем подтвердили участие только 37 участников, формирующих 8 команд. Конечное решение заданий представили только 7 команд, из которых 5 принимали участие в представлении своих результатов, причем только три из них дали решения для обоих кейсов.

Жюри характона составили специалисты из Санкт-Петербурга (профессор Виллевальде С. В.), Самары (профессор Дупляков Д. В.), Кемерово (Грибов А.) и Уфы (профессор Загидуллин Н. Ш. и доцент, к.т.н. Лакман И. А.).

Тройку призёров составили следующие команды: 1 место — команда Дельта (Санкт-Петербург, Москва, Астрахань, Томск), 2 место — команда № 3 (Санкт-Петербург, Ульяновск, Кемерово, Москва), 3 место — команда Самара кардиологическая (Самара).

При решении первого задания все 5 команд провели качественную предобработку данных, а именно провели анализ временных рядов, которыми по сути являются результаты снятой ЭКГ. 4 команды из 5 для решения задачи классификации бигенемии использовали искусственные нейронные сети, одна команда использовала алгоритмы машинного обучения (случайный лес, бустинг). В качестве метрики, позволяющей оценить качество классификации, все команды выбрали площадь под ROC-кривой (AUC). В результате AUC у всех команд при распознавании бигенемии был не меньше 60%.

При решении второго задания все 3 команды использовали методологию PRISMA при проведении систематического обзора и метаанализа. Все 3 команды в качестве критерия включения брали для исследований условие сравнения результатов эффективности и безопасности любого перорального антикоагулянта в любой дозе (дабигатран, ривароксабан или апиксабан) по сравнению с варфарином для пациентов с хронической болезнью почек 4-5 стадии, при этом одна из команд дополнительно рассматривала только результаты рандомизированных клинических исследований. В результате у 1 команды отобрано было 6 исследований, у другой — 4, и у третьей — 3, при этом 2 исследования учитывались всеми командами. Все 3 команды использовали и анализировали графики форест-плот для конечных точек (инсульт, инфаркт, смерть), а также 2 команды построили воронкообразные (Funnel plot) графики для оценки достаточности исследований для метаанализа. Для оценки качества отобранных исследований одна команда использовала график «светофор», а две другие команды рассчитывали показатели I² и Q для оценки гетерогенности и однородности исследований. Все 3 команды использовали R для проведения метаанализа, причем одна из команд написала собственное программное обеспечение.

После проведения хакатона на основании собранных данных из листов экспертного оценивания была проведена проверка согласованности мнений экспертов: по второй задаче коэффициент конкордации мнений экспертов составил 0,66 (р<0,001), по первой задаче такой анализ не проводился. Это свидетельствует о согласованности мнений экспертов, что является маркером их компетентности в области проводимой экспертизы.

Выбор технологии проведения хакатона онлайн позволил существенно расширить как географию участников, так и привлечь специалистов из различных областей знаний, необходимых для решения поставлены практических задач (кардиологов, врачей функциональной диагностики, разработчиков программных приложений и специалистов в области анализа данных и статистики). В итоге команды получились не только междисциплинарные, но и межрегиональные. Например, команда, победившая в хакатоне, включала участников из Санкт-Петербурга, Москвы, Астрахани и Томска, команда, занявшее второе место, — участников из Санкт-Петербурга, Москвы, Ульяновска и Кемерово. Интересно, что многие организаторы хакатона одной из целей его проведения ставят возможность международного и межрегионального сотрудничества. Так, например, в хакатоне SIIM 2021г (США), где требовалось разработать экспериментальную концепцию учебного модуля по радиологии с элементами геймификации, участники связывались со специалистами из пяти разных стран, что позволило им завершить операционную проверку разработанной концепции [9]. Другим преимуществом проведения хакатона, особенно в рамках крупных научных мероприятий, является возможность объединить усилия как опытных участников, так и новичков для поиска творческих решений сложных проблем. Например, в работе [10] утверждается, что хакатон, проводимый в рамках международного научно-исследовательского конгресса медсестер в Калгари (Канада) стал отличным средством объединения новичков и экспертов с разным опытом для разработки технологических решений проблем здравоохранения.

Надеемся, что опыт, полученный в первом в Российской Федерации кардиологическом хакатоне, будет востребован в дальнейшем и приведет к большей интеграции кардиологов и специалистов в ИТ-сфере.

Отношения и деятельность: все авторы заявляют об отсутствии потенциального конфликта интересов, требующего раскрытия в данной статье.