Проведение оценки эффективности мероприятий

Как правило, создание доказательной базы для целей укрепления здоровья населения и преодоления неравенства в отношении здоровья зависит от наличия высококачественных оценок. Для лиц, принимающих решения, такие оценки могут быть источником информации о видах программ, которые можно разработать и реализовать, обеспечив максимально эффективное использование ресурсов. В данном разделе описаны те возможности, которыми могут воспользоваться страны Европы для того, чтобы их ПДЗЖ способствовали решению этой задачи; для этого необходимо руководствоваться общими принципами проведения оценок в сфере здравоохранения и содействовать применению социально-ориентированного подхода к методам планирования и оценки.

Зачем нужны оценки? Они необходимы для того, чтобы:

- удостовериться, что проводимые мероприятия приносят желаемые результаты (действенность);

- определить, являются ли проводимые мероприятия рентабельными (эффективность);

- установить, приемлемы ли проводимые мероприятия для целевой аудитории (социальная приемлемость);

- обеспечить процесс оценки на всех стадиях планирования, разработки, реализации и анализа программ.

Однако ПДЗЖ оценивать чрезвычайно трудно, и тому есть несколько причин:

- эти планы очень сильно разнятся между собой по структуре, составу организаций-партнеров и характеру мероприятий, разворачиваемых в периоды аномальной жары, а также до и во время летнего сезона;

- они меняются из года в год в соответствии с происходящими событиями и сменой приоритетов организаций-партнеров;

- аномальная жара - явление достаточно редкое, и ее влияние каждый раз бывает разным;

- смертность, обусловленная аномальной жарой, является неспецифическим показателем, который бывает трудно определить.

Именно поэтому так мало опубликованных материалов с описанием формальных (качественных и количественных) оценок эффективности комплексов мероприятий в целом и отдельных их компонентов.

Для создания доказательной базы для организации защитных мер в условиях аномальной жары и обеспечения максимально возможной действенности и эффективности ПДЗЖ необходимо проводить оценку этих планов и в обязательном порядке публиковать результаты таких оценок. ПДЗЖ должны быть ориентированы на наиболее уязвимые слои общества, с тем чтобы не допустить роста заболеваемости и смертности среди них во время аномальной жары. В этой связи рекомендуется включать в оценки ПДЗЖ такой параметр, как уровень охвата этих категорий населения.

Сейчас все чаще признают, что применение социально-ориентированных подходов к развитию и оказанию услуг общественного здравоохранения может повысить действенность программ по укреплению здоровья населения и сокращению неравенства в отношении здоровья. Социально-ориентированные подходы предполагают комплексные решения основных проблем общественного здравоохранения. Кроме того, они предусматривают необходимость применения общественно ориентированных моделей, позволяющих воздействовать на более общие социальные, экологические и экономические факторы, лежащие в основе относительного неравенства в отношении здоровья.

Поэтому важно, чтобы структура оценки ПДЗЖ предполагала достаточно широкий подход к анализу влияния входящих в них программ и инициатив. Это позволит составить совокупность краткосрочных, среднесрочных и долгосрочных показателей успеха и учесть более широкие детерминанты здоровья. При такой структуре оценки появится возможность получить ответы на вопросы не только о том, какие меры помогают уменьшить рост смертности, но и о том, среди кого и в каком контексте. Кроме того, такой подход позволит применить целый ряд методологий и приемов, которые помогут понять, какие важнейшие процессы и объекты инфраструктуры необходимо обеспечить для того, чтобы проводимые программы увенчались успехом. Иными словами, рекомендуется применять целостный (комплексный) подход к оценке.

В следующем разделе описаны возможные способы оценки ПДЗЖ. Здесь следует исходить из того, что эти оценки обладают всеми характерными особенностями, присущими оценкам такого рода, поскольку в их основе лежат общие принципы, применяемые к проведению оценок любых мероприятий в сфере общественного здравоохранения. В конце раздела дается несколько предложений, касающихся минимальных стандартов оценки.

В оценке процесса основное внимание уделяется вопросу о том, был ли план реализован в соответствии с ожидаемыми стандартами. Зачастую для этого проводят опросы организаций-партнеров, чтобы выяснить, каков уровень их осведомленности о плане, что именно они делали и соответствовало ли это плану. В Англии Агентство по охране здоровья (HPA) провело оценку плана, опросив пять видов организаций здравоохранения и социальной помощи.

Для этого было проведено письменное и телефонное анкетирование, цель которого заключалась в том, чтобы выяснить, насколько респонденты были осведомлены о ПДЗЖ и какие меры были ими приняты в связи с ним. Кроме того, HPA организовало межведомственный семинар для организаций, вовлеченных в реализацию ПДЗЖ, на котором ведущие специалисты в области общественного здравоохранения, экологической эпидемиологии и метеорологии могли поделиться результатами своих исследований, обменяться мнениями по вопросам воздействия жары на здоровье человека и дать свою оценку ПДЗЖ. В Каталонии оценка реализации ПДЗЖ производится каждый год по окончании летнего сезона.

В материалах исследований мало данных об оценке систем предупреждения и ПДЗЖ, особенно с точки зрения результатов здравоохранительных мер.

Смертность является тем единственным показателем, в отношении которого ведутся и тщательно регистрируются наблюдения его зависимости от воздействия жары (см., например, Michelozzi et al., 2007; Baccini et al., 2008) и который может использоваться для оценки результатов программ профилактики и стратегий адаптации к климатическим изменениям. Например, временные изменения соотношения температура/смертность в масштабах одного города могут быть свидетельством изменения/уменьшения воздействия жары на здоровье. Разумно предположить, что при одних и тех же уровнях воздействия кратковременные изменения смертности могут быть обусловлены работой систем предупреждения и реализацией ПДЗЖ - при условии, что учтено влияние всех остальных известных конфаунд-факторов (из опыта Италии).

Следует отметить, однако, что по такому показателю, как количество летальных исходов, невозможно провести непосредственное сравнение воздействий аномальной жары ни между разными городами, ни в одном и том же городе в разное время, и с еще меньшей долей уверенности можно утверждать, что тот или иной план или какие-то конкретные мероприятия в рамках этого плана привели к сколько-нибудь значимому изменению уровня смертности (Kovats & Ebi, 2006). Так, например, в Чикаго во время аномальной жары 1999 г. было зарегистрировано меньше смертей, связанных с жарой, чем в аналогичный период 1995 г., и это сокращение смертности в какой-то степени было отнесено за счет успешной реализации профилактических мероприятий, в частности, открытия общедоступных кондиционированных центров (Palecki, Changnon & Kunkel, 2001). Но с тем же успехом можно утверждать, что во втором случае лица из уязвимых категорий населения не только могли воспользоваться кондиционированными помещениями, но также были лучше осведомлены о влиянии аномальной жары на здоровье и знали, как правильно себя вести в такой ситуации. В Марселе (Франция) после проведения профилактических мер в форме предупреждающих сообщений населению также наблюдалось некоторое снижение уровня смертности, связанной с аномальной жарой, но нельзя с полной уверенностью утверждать, что смертность снизилась именно благодаря этой кампании (Delaroziere & Sanmarco, 2004). В Канаде оценка ПДЗЖ в основном касалась изучения возможного влияния различных пороговых значений на характер проводимых мероприятий (Smoyer-Tomic & Rainham, 2001).

Несмотря на все эти трудности, может оказаться полезным провести более формальную оценку результатов ретроспективно. Результатом мероприятий по охране здоровья, который можно измерить и который зависит от температуры воздуха, является ежедневный уровень смертности, хотя можно использовать и другие параметры (например, количество экстренных госпитализаций, количество обращений в организации первичного звена здравоохранения или количество звонков в телефонную службу помощи).

Количество предотвращенных смертельных исходов можно оценить как разницу между наблюдаемым и ожидаемым количествами летальных исходов в период аномальной жары (исходя из полученных ранее оценок зависимости смертности от температуры). Эти оценки можно классифицировать по основным возрастным категориям и анализировать как общую смертность, так и смертность, связанную именно с аномальной жарой.

Есть и другой подход: можно сравнивать количества летальных исходов в дни аномальной жары для случаев, когда были и не были объявлены соответствующие предупреждения о жаре. При наличии информации о качестве и успешности реализации ПДЗЖ на разных территориях предотвращенная смертность может стать еще одним параметром для сравнения действенности этих планов.

Третий способ заключается в более формальном сравнении мероприятий, проведенных на разных территориях. Выбрать (в целях последующего сравнения) какую-то определенную местность и не проводить там вообще никаких защитных мероприятий в связи с аномальной жарой было бы аморально.

Но, учитывая уровень неопределенности в оценке действенности конкретных мероприятий, можно сравнивать различные стратегии, применяемые на разных территориях в пределах данного города или района, или даже случайным образом распределять такие мероприятия в масштабах всего общества.

Желательно также измерять промежуточные результаты, например, изменения в поведении людей в связи с аномальной жарой. Так, были проведены опросы населения, проживающего на определенной территории, с целью выявления изменений в уровне знаний, восприятии и поведении в связи с аномальной жарой (Sheridan, 2006; Kishonti, Paldy & Bobvos, 2006).

Необходимо провести соответствующее выборочное исследование, которое охватывало бы те уязвимые категории населения, которые подвергаются наибольшему риску смертности в связи с аномальной жарой, при этом особое внимание следует уделить сообщениям респондентов об изменениях в поведении. Для того чтобы обеспечить включение в оценку тех, кто больше всего нуждается в помощи и советах, необходимо провести качественное исследование.

Одним из соображений, которыми руководствуются лица, принимающие решения, является экономическая эффективность систем предупреждения о наступлении аномальной жары (СПНЖ). В работе Ebi et al. (2004) для анализа эффективности затрат на филадельфийскую СПНЖ выбран такой параметр, как готовность платить, но при этом предполагалось, что эта система является весьма эффективной с точки зрения предотвращения смертности, связанной с аномальной жарой. Исходя из этого предположения, экономическая эффективность системы была очень высокой.

В данном разделе описаны общие критерии, которым должны удовлетворять "хорошие" оценки. Эти критерии надо рассматривать не как четкое руководство по проведению оценок, а просто как некие ориентиры, которые следовало бы иметь в виду.

Как правило, хорошая оценка предполагает:

- четкую формулировку целей и задач соответствующей программы или инициативы;

- четкое описание краткосрочных, среднесрочных и долгосрочных результатов программы;

- обращение к целому ряду методов и дисциплин на предмет их пригодности для проведения оценки;

- использование как мнений экспертов, так и более объективных методов.

Что касается организации процесса оценки, то здесь целесообразно руководствоваться следующими принципами:

- если оценку организует сторонняя организация (но при участии разработчиков программы), то такая оценка с большей вероятностью будет (и будет считаться) объективной;

- весьма полезно проводить регулярные оценки (в конце каждого летнего сезона);

- очень важно проводить целенаправленные оценки по окончании значимых периодов аномальной жары;

- наличие элемента регулярного мониторинга в летний период и организация надзора за медицинскими данными и другими показателями в режиме реального времени способствует быстрому реагированию в тревожной ситуации.

Одна из классических моделей оценки (Donabedian, 1988) предполагает анализ структуры, процессов и результатов. Анализ структуры должен включать следующие вопросы:

- существует ли общенациональный план действий;

- каковы компоненты этого плана;

- указаны ли цели каждого из компонентов и распределена ли ответственность за их выполнение;

- предусматривает ли план наличие СПНЖ, и если да, то достаточно ли четко она описана.

Анализ процессов включает следующие вопросы:

- были ли донесены до населения основные идеи программы;

- было ли население проинформировано о наличии плана действий и о его основных идеях;

- своевременно ли были сделаны предупреждения;

- правильно ли действовали организации и отдельные специалисты и следовали ли они пунктам плана;

- считают ли организации и отдельные специалисты, что данный план был полезен.

Анализ результатов должен включать следующие показатели:

- некую форму вовлечения в процесс заинтересованных сторон в целях наполнения оценки конкретным содержанием;

- смертность - суточная температура воздуха и число смертей до, во время и после периодов аномальной жары, смертность в различных учреждениях - например, в домах престарелых;

- заболеваемость;

- использование ресурсов здравоохранения;

- последствия, не связанные со здоровьем, например, производительность труда и отсутствие на рабочем месте;

- оценка зависимости смертности от температуры;

- изменения в поведении людей в отношении своего здоровья в условиях аномальной жары.

При проведении оценки можно использовать целый ряд различных методов. К ним относятся:

- эпидемиологические исследования;

- опросы организаций и населения (это могут быть телефонные опросы, рассылка анкет по почте или личные интервью);

- текстовый анализ;

- анализ текущих данных.