Межэкспертная и внутриэкспертная надёжность стандартизированной…

Кратко

На 78 термограммах пять новичков совпали точно по всем пяти оценкам лишь у 26,9-33,3% снимков, в пределах одного балла у 89,7-92,3%; степени III-IV в выборке не встретились.

Подробный обзор по полному тексту статьи · 8 мин чтения

Зачем понадобилось это исследование

Целлюлит (гиноидная липодистрофия) - частое изменение рельефа кожи, чаще всего на бёдрах, ягодицах и в области тазобедренных суставов у женщин после пубертата. Авторы описывают его внешний вид как результат нескольких взаимосвязанных процессов: расположения фиброзных септ, ремоделирования жировой ткани, неоднородности дермы и подкожной клетчатки, гормональных влияний и нарушений местной микроциркуляции. Хотя целлюлит часто считают эстетической проблемой, стандартизированная оценка нужна для документации, наблюдения за лечением и научных работ.

Большинство принятых методов градации опирается на осмотр, пальпацию или фотонумерическое сравнение. Они доступны, но зависят от суждения исследователя, позы, сокращения мышц, освещения и натяжения кожи; при сопоставлении разных инструментов и методов визуализации ни один подход не охватывает весь многомерный фенотип. Инфракрасная термография измеряет температуру поверхности кожи без контакта и может отражать неоднородность, связанную с перфузией и теплообменом. Для целлюлита её использовали для описания тепловых паттернов, определения стадий и мониторинга лечения.

Ранее авторы оценили пятистепенную термографическую классификацию, основанную на разнице максимальной и минимальной температуры в заданной области интереса (ROI) с поддержкой описательных паттернов, и сравнили её с оценкой по пальпации. Но тогда работал один опытный оценщик, поэтому воспроизводимость между разными людьми и при повторной оценке одним человеком оставалась неизвестной. Эти свойства измерения требуют отдельной проверки. Цель текущей работы - определить межэкспертную и внутриэкспертную согласованность, когда пять обученных новичков самостоятельно применяют заданные настройки FLIR Tools, правило размещения ROI, расчёт ΔT и порядковую классификацию в контролируемых условиях офлайн-оценки.

Как проводили

Это вторичное исследование надёжности: использовали уже полученные анонимные термограммы из источника, то есть из исходной методической работы. Решение о проверке надёжности приняли после её публикации; съёмка была завершена до планирования текущего исследования. Обучение оценщиков, два раунда оценки, рандомизация и статистический анализ шли по заранее заданному протоколу. Единицей анализа была термограмма, выводов на уровне пациентов не делали.

Итоговый набор состоял из 78 анонимных передних термограмм, полученных камерой FLIR P620 (640 x 480 пикселей, NETD не более 40 мК, спектральный диапазон 7,5-13 мкм, излучательная способность 0,98). Включали снимки, полученные именно этой системой и имевшие полные оценки в обоих раундах; критерий не зависел от оценок и степеней. Снимки охватывали нижнюю часть туловища и оба бедра спереди, человек стоял прямо в расслабленной естественной позе без намеренного напряжения мышц бёдер. Съёмку проводили в контролируемой среде: 20 минут акклиматизации, без недавней физической нагрузки, еды за 2 часа до исследования и тесной одежды.

Анализ проводили в FLIR Tools 6.4.18039.1003 с едиными настройками: палитра Rainbow HC, фиксированный диапазон 26,6-36,6 °C, излучательная способность 0,98, отражённая температура 20,0 °C, расстояние 1,5 м, температура окружающей среды 22,2 °C, влажность 55,5%. Оценщик самостоятельно ставил прямоугольную ROI размером 50 x 25 единиц на заданную область бедра, получал максимальную и минимальную температуру и считал ΔT как их разность. Степень определяли в основном по диапазону ΔT: 0 - 0,5-1,9 °C; I - 2,0-2,9; II - 3,0-3,9; III - 4,0-4,9; IV - 5,0-5,9 °C. Описательные паттерны служили вспомогательным критерием. Сохраняли только итоговые порядковые градации: координаты ROI и промежуточные значения Tmax, Tmin и ΔT не архивировали.

В оценке участвовали пять человек с академической подготовкой в косметологии или науках о здоровье, ни у одного не было практического опыта термографической оценки целлюлита. Перед работой они прошли структурированное обучение и калибровочное занятие на пяти типичных термограммах всех градаций 0-IV. Эти калибровочные снимки взяты из того же архива и могли без меток снова встретиться в основном наборе. Оценщики работали независимо, не знали оценок других и клинических градаций по пальпации. Второй раунд проводили через неделю в новом случайном порядке без доступа к собственным прежним оценкам.

Статистика. Основной показатель - коэффициент согласия Gwet AC2 с квадратичными весами, выбранный потому, что обычные каппа-коэффициенты могут давать парадоксальные значения при неравномерном распределении категорий. Основной анализ использовал всю шкалу 0-IV; чувствительный анализ пересчитывал AC2 по реально наблюдаемым категориям 0-II. При этом различие в один балл получало вес 0,9375 при полной шкале и 0,75 при наблюдаемом диапазоне. Дополнительно считали точное совпадение пяти оценщиков, совпадение в пределах одной градации, AC1 по Гвету, альфу Криппендорфа и каппу Флейсса. Доверительные интервалы получали бутстрэпом по снимкам (2000 повторов).

Что получилось

Все пять оценщиков завершили оба раунда для всех 78 снимков, всего получено 780 оценок. Хотя шкала включала градации 0-IV, фактически использованы только 0-II: степеней III и IV не было. Оценки концентрировались в степенях 0 и I: степень 0 составила 66,2% оценок в первом раунде и 73,1% во втором, степень I - 29,2% и 23,8%, степень II - 4,6% и 3,1%. Эмпирических оценок надёжности для III и IV получить не удалось.

Межэкспертная согласованность. Точное совпадение всех пяти оценщиков составило 26,9% в первом раунде и 33,3% во втором. Все пять оценок укладывались в диапазон одной градации у 89,7% и 92,3% снимков. AC2 по наблюдаемым категориям 0-II равнялся 0,786 (95% ДИ 0,730-0,840) и 0,845 (0,794-0,885), а по заранее заданной полной шкале 0-IV 0,949 (0,936-0,962) и 0,963 (0,951-0,972). Коэффициенты, не учитывающие близость категорий, были ниже: AC1 0,538 и 0,612, каппа Флейсса 0,257 и 0,243, альфа Криппендорфа (номинальная) 0,259 и 0,245; интервальная альфа 0,320 и 0,327.

Внутриэкспертная согласованность. Точное совпадение между раундами у отдельных оценщиков варьировало от 66,7% до 97,4%, а в пределах одной градации оно составило 100% у всех. AC2 по наблюдаемым категориям был от 0,803 до 0,989 (в среднем описательно 0,923), по полной шкале от 0,955 до 0,997 (среднее 0,982). У оценщика 4 были самые низкие показатели (66,7% точного совпадения, AC2 0,803).

Динамика между раундами. Из 390 парных наблюдений 325 оценок (83,3%) не изменились, 49 (12,6%) снизились на одну градацию, 16 (4,1%) выросли на одну; различий более чем в один балл не было. Снижения встречались чаще повышений, но неравномерно по оценщикам: оценщик 4 дал 21 снижение и 5 повышений. Поскольку ROI и промежуточные температуры не сохраняли, объяснить причину этой закономерности нельзя.

Безопасность

Работа не включала вмешательств, набора пациентов или клинического обследования: анализировали ранее полученные анонимные термограммы, поэтому нежелательные явления не оценивали. Исходная съёмка выполнена с информированным согласием в исследовании-источнике, получившем положительное заключение этического комитета (Nowy Sącz, Польша). С файлов удалили метаданные и видимую геолокацию.

Как авторы объясняют результаты

Авторы подчёркивают, что оценивали воспроизводимость целиком ручного рабочего процесса, а не согласие по уже рассчитанным температурам: оценщики сами открывали снимок, размещали ROI, считали ΔT и определяли степень. В таких условиях точное совпадение пяти оценщиков оставалось ограниченным, а согласованность в пределах соседних градаций была высокой. Все внутриэкспертные расхождения касались соседних категорий.

Ключевой момент интерпретации - разница между взвешенными и точными показателями. Квадратичное взвешивание даёт частичный балл за близкое согласие, а вес нормируется на диапазон категорий. Поэтому при полной шкале 0-IV разница в один балл получала вес 0,9375, а при наблюдаемом диапазоне 0-II - 0,75, что и объясняет более высокие значения 0,949 и 0,963 по сравнению с 0,786 и 0,845. Авторы указывают, что полношкальные AC2 нельзя считать доказательством надёжности в степенях III-IV, а при интерпретации следует опираться на AC2 по наблюдаемым категориям вместе с точным совпадением и совпадением в пределах одной градации. Низкие номинальные коэффициенты не противоречат взвешенным, поскольку номинальные методы не различают расхождение 0 и I от расхождения 0 и IV и зависят от распределения. Авторы также замечают, что близкое расхождение нельзя автоматически считать клинически незначимым: влияние разницы в одну градацию на прогноз и выбор лечения не изучали.

Разнородность оценщиков показывает, что общего обучения недостаточно для одинаковой воспроизводимости: самый низкий результат у оценщика 4 нельзя объяснить без данных о ROI и температурах, любые гипотезы (размещение ROI, извлечение температуры, применение порогов, запоминание, внимание, порядок) были бы спекулятивными. В отношении общего контекста авторы отмечают, что термография в дерматологии может быть полезным дополнением, но не доказывает специфичность температурного паттерна заболеванию; тепловая неоднородность при целлюлите может отражать микроциркуляцию, строение тканей, ремоделирование жира и воспаление.

Ограничения

Авторы подробно перечисляют ограничения. Анализ основан на снимках из архива одного центра, без выводов на уровне участниц и без учёта возможной зависимости между снимками одного человека, поэтому интервалы нужно читать осторожно. Распределение оценок сильно смещено и охватывает лишь степени 0-II; надёжность для III и IV не оценена, а более высокие полношкальные AC2 в значительной степени обусловлены нормировкой весов. Оценщики были обученными новичками, и результат нельзя переносить на опытных термографистов, клиницистов или необученных пользователей.

Недельный интервал мог позволить запомнить ранее просмотренные снимки, а пять калибровочных термограмм из того же архива могли без меток появляться в основном наборе, что могло завысить внутриэкспертную согласованность. Сохранены лишь итоговые порядковые градации, без координат ROI и значений Tmax, Tmin, ΔT, поэтому расхождения нельзя разложить по источникам. Оценка была офлайн-задачей, не воспроизводящей живую клиническую съёмку. Не оценивали диагностическую точность, валидность относительно эталона, чувствительность к изменениям, результаты лечения и ценность для решений. Внешнего финансирования нет, конфликта интересов авторы не заявили; для языковой правки, схемы и части кода статистики использовали генеративный ИИ, результаты проверены авторами.

Что взять в практику

Для практикующего косметолога работа не даёт готового инструмента: стандартизированный термографический протокол пока годится для исследований и документирования снимков, обучения оценщиков и разработки автоматизированного анализа. Авторы прямо пишут, что результаты не поддерживают его использование как самостоятельного диагностического теста, замены физикального осмотра или основы для выбора лечения. Любое клиническое применение сейчас может быть только вспомогательным к анамнезу, осмотру, пальпации и принятым шкалам.

Из практических выводов: даже при едином протоколе разные люди полностью совпадают в градации редко (все пять оценщиков у 26,9-33,3% снимков), а расхождения в основном ограничены соседней степенью. Если термография используется для документации, нужно фиксировать условия съёмки и параметры анализа, сохранять ROI и значения температуры и стараться, чтобы оценивал один обученный специалист. Говорить пациентке о степени целлюлита по термограмме как об установленной величине нельзя.

Термины

ΔT и ROI: ΔT - разность максимальной и минимальной температуры в заданной области интереса (ROI) на термограмме; в протоколе по ней определяют степень 0-IV.
Gwet AC2: Коэффициент согласия оценщиков для порядковых шкал, устойчивый к неравномерному распределению категорий; здесь с квадратичными весами.
Межэкспертная и внутриэкспертная надёжность: Согласованность оценок разных оценщиков (межэкспертная) и повторных оценок одного оценщика (внутриэкспертная).
Квадратичные веса: Способ взвешивания: близкие расхождения штрафуются слабее, далёкие сильнее; итог зависит от диапазона категорий, по которому нормируют веса.