3.4. Обработка заполненных форм сбора первичных данных. Алгоритм проведения экспертизы

Экспертиза документов и материалов, предоставленных муниципалитетами для Оценки, представляет собой процедуру, направленную на исследование муниципальных образовательных систем, а также анализ их элементов с целью получения мотивированного заключения о состоянии этих систем для дальнейшего их совершенствования.

Экспертиза осуществляется экспертами - высококвалифицированными специалистами, владеющими специальными знаниями и экспертными технологиями.

В качестве экспертов от каждого региона выступают 3 специалиста, один из которых - региональный координатор. Эксперт N 1 и эксперт N 2 осуществляют экспертизу в отношении всех муниципалитетов параллельно. Эксперт N 3 (региональный координатор) привлекается к экспертизе после работы эксперта N 1 и эксперта N 2, он осуществляет перепроверку в случае расхождения баллов, принимает окончательное решение об оценке конкретного документа с указанием обоснования принятого решения, формирует итоговые результаты экспертизы.

Перед проведением экспертизы экспертам необходимо ознакомиться с данными Методическими рекомендациями.

Ниже представлен алгоритм проведения экспертизы.

1. Эксперт N 1 и эксперт N 2 получают форму сбора первичных данных, заполненную муниципалитетами, и форму протокола работы экспертов (форму для оценивания).

Форма протокола работы экспертов (форма для оценивания) содержит:

- поле для указания кода региона;

- поле для указания наименования региона;

- поле для указания наименования муниципалитета;

- перечень позиций оценивания;

- параметры оценивания;

- максимальные баллы;

- поля для выставления баллов экспертами;

- поля для комментариев экспертов.

2. Эксперты N 1 и N 2 построчно изучают документы и материалы, анализируют их содержание, выставляют в форме протокола работы экспертов баллы по каждой позиции оценивания в графе "Балл", а также аргументируют выставленные ими баллы в графе "Комментарий эксперта". Комментарии от эксперта должны быть конкретными и обоснованными.

Оценивание представленных документов и материалов по каждой позиции осуществляется в соответствии с параметрами оценивания. За наличие параметров оценивания выставляются соответствующие баллы, за отсутствие - выставляется 0 баллов. Результатом оценивания могут быть только целочисленные значения.

Оценка материалов и документов, характеризующих компонент управленческого цикла "Цели". Все материалы и документы, соответствующие позициям оценивания этого компонента управленческого цикла, оцениваются по следующим параметрам:

- наличие цели;

- обоснование цели;

- соответствие муниципальной цели региональной цели.

Если цель представлена, обоснована и соответствует региональной цели, то выставляются баллы за наличие всех трех параметров оценивания.

Если цель представлена, но не обоснована или не соответствует региональной цели, то баллы выставляются за ее наличие и за тот параметр (обоснование/реалистичность), который присутствует, а за отсутствующий параметр выставляется 0 баллов.

Если цель отсутствует, то по всем трем параметрам выставляется 0 баллов. Цель считается отсутствующей, если по данной позиции оценивания не представлены соответствующие документы и материалы, если в представленных документах и материалах она не содержится или если представленные документы и материалы не соответствуют позиции оценивания.

Оценка материалов и документов, характеризующих компонент управленческого цикла "Показатели". Все материалы и документы, соответствующие позициям оценивания этого компонента управленческого цикла, оцениваются по следующим параметрам:

- наличие показателя/перечня показателей;

- соответствие показателей обоснованной цели;

- наличие неэффективных показателей и/или показателей с негативными последствиями.

Если показатель/перечень показателей по позиции оценивания представлен, соответствует обоснованной цели и в нем нет неэффективных показателей и/или показателей с негативными последствиями, то соответствующие баллы выставляются за наличие показателя(-ей) и за соответствие показателя(-ей) обоснованной цели, а за наличие неэффективных показателей и/или показателей с негативными последствиями выставляется 0 баллов.

Если показатель/перечень показателей по позиции оценивания представлен, не соответствует обоснованной цели и в нем нет неэффективных показателей и/или показателей с негативными последствиями, то соответствующие баллы выставляются за наличие показателя(-ей), а за соответствие показателя(-ей) обоснованной цели и за наличие неэффективных показателей и/или показателей с негативными последствиями выставляется 0 баллов.

Если позиция оценивания представлена перечнем показателей, которые соответствуют обоснованной цели, но в нем есть хотя бы один неэффективный показатель и/или показатель с негативными последствиями, то по первым двум параметрам выставляются соответствующие баллы с положительными значениями, а по третьему параметру - с отрицательным, то есть за наличие неэффективных показателей и/или показателей с негативными последствиями баллы вычитаются.

Если позиция оценивания представлена перечнем показателей, которые не соответствуют обоснованной цели, и в нем есть хотя бы один неэффективный показатель и/или показатель с негативными последствиями, то по первому параметру выставляются баллы с положительными значениями, по второму параметру выставляется 0 баллов, а по третьему параметру выставляются баллы с отрицательными значениями.

Если позиция оценивания представлена одним показателем и он является неэффективным и/или с негативными последствиями, то по первым двум параметрам выставляется 0 баллов, а за наличие неэффективного показателя и/или показателя с негативными последствиями баллы вычитаются.

Если показатель/перечень показателей отсутствует, то по всем параметрам оценивания выставляется 0 баллов.

Показатели с негативными последствиями и/или неэффективные показатели могут быть выявлены по каждой из позиций оценивания, характеризующих компонент управленческого цикла "Показатели". При этом эксперты ведут учет таких показателей и фиксируют их в форме протокола работы экспертов в графе "Комментарии эксперта".

Оценка материалов и документов, характеризующих компонент управленческого цикла "Методы сбора и обработки информации". Все материалы и документы, соответствующие позициям оценивания этого компонента управленческого цикла, оцениваются по следующим параметрам:

- наличие описания методов сбора информации;

- наличие описания методов обработки информации;

- использование информационных систем для сбора информации.

Если представлены сведения с описанием методов сбора и обработки информации и об использовании информационных систем для сбора информации, то выставляются баллы за наличие всех трех параметров оценивания.

Если сведения о методах сбора и обработки информации представлены частично, то баллы выставляются только по тем параметрам оценивания, которые отражены в представленных для Оценки муниципальных материалах и документах.

Если сведения о методах сбора и обработки информации, а также сведения об использовании информационных систем для сбора информации не представлены, то по всем трем параметрам выставляется 0 баллов.

Оценка материалов и документов, характеризующих компонент управленческого цикла "Мониторинг показателей". Все материалы и документы, соответствующие позициям оценивания этого компонента управленческого цикла, оцениваются по следующим параметрам:

- наличие мониторинга показателей;

- наличие сведений о сроках проведения мониторинга;

- наличие сведений об использовании результатов мониторинга показателей.

Мониторинг неэффективных показателей и/или показателей с негативными последствиями при оценивании не учитывается. Если представлен мониторинг перечня показателей, среди которых есть неэффективные и/или с негативными последствиями (но не все), то он подлежит Оценке. Если все из показателей, по которым представлен мониторинг, неэффективные и/или с негативными последствиями или если позиция оценивания представлена только одним показателем и он является неэффективным и/или с негативными последствиями, то за наличие мониторинга таких показателей выставляется 0 баллов.

Если мониторинг представлен и содержит сведения о сроках его проведения и об использовании результатов, то соответствующие баллы выставляются по трем параметрам оценивания. Если мониторинг представлен, но второй и/или третий параметр в документах/материалах не отображен, то по этому(-им) параметру(-ам) выставляется 0 баллов, а за наличие мониторинга выставляется соответствующий балл.

Если мониторинг отсутствует, то по всем трем параметрам выставляется 0 баллов.

Оценка материалов и документов, характеризующих компонент управленческого цикла "Анализ результатов мониторинга". Все материалы и документы, соответствующие позициям оценивания этого компонента управленческого цикла, оцениваются по следующим параметрам:

- наличие анализа результатов мониторинга показателей;

- использование элементов кластеризации при проведении анализа;

- выявление факторов, влияющих на результаты анализа.

Анализ результатов мониторинга неэффективных показателей и/или показателей с негативными последствиями при оценивании не учитывается. Если представлен анализ результатов мониторинга перечня показателей, среди которых есть неэффективные и/или с негативными последствиями (но не все), то он подлежит Оценке. Если все показатели, по которым представлен анализ, неэффективные и/или с негативными последствиями или если позиция оценивания представлена только одним показателем и он является неэффективным и/или с негативными последствиями, то за наличие анализа результатов мониторинга таких(-ого) показателей(-я) выставляется 0 баллов.

Если анализ представлен, содержит элементы кластеризации и сведения о факторах, влияющих на результаты анализа, то соответствующие баллы выставляются по трем параметрам оценивания. Если анализ результатов мониторинга показателей представлен, но второй и/или третий параметр в документах/материалах не отображен, то по этому(-им) параметру(-ам) выставляется 0 баллов, а за наличие анализа результатов мониторинга выставляется соответствующий балл.

Если анализ отсутствует, то по всем трем параметрам оценивания выставляется 0 баллов.

Оценка материалов и документов, характеризующих компонент управленческого цикла "Адресные рекомендации по результатам анализа". Все материалы и документы, соответствующие позициям оценивания этого компонента управленческого цикла, оцениваются по следующим параметрам:

- наличие рекомендаций/материалов;

- адресность рекомендаций/материалов;

- учет результатов анализа при разработке рекомендаций/материалов.

Если представленные рекомендации являются адресными и разработаны с учетом результатов анализа, то соответствующие баллы выставляются по трем параметрам оценивания.

Если рекомендации представлены, но не адресные или разработаны без учета результатов анализа, то баллы выставляются за их наличие и за тот параметр (адресность/учет результатов анализа при разработке), который присутствует, а за отсутствующий параметр выставляется 0 баллов.

Если рекомендации отсутствуют, то по всем трем параметрам выставляется 0 баллов.

Оценка материалов и документов, характеризующих компонент управленческого цикла "Меры, мероприятия". Все материалы и документы, соответствующие позициям оценивания этого компонента управленческого цикла, оцениваются по следующим параметрам:

- наличие мер/мероприятий;

- наличие сведений о сроках реализации;

- наличие сведений об ответственных/участниках.

Если представленные документы и материалы о мерах/мероприятиях содержат сведения о сроках реализации, об ответственных/участниках, соответствующие баллы выставляются по трем параметрам оценивания.

Если представленные документы и материалы о мерах/мероприятиях не содержат сведения о сроках реализации, об ответственных/участниках, то баллы выставляются за их наличие и за тот параметр (сведения о сроках реализации/сведения об ответственных/участниках), который присутствует, а за отсутствующий параметр выставляется 0 баллов.

Если меры/мероприятия отсутствуют, то по всем трем параметрам выставляется 0 баллов.

Оценка материалов и документов, характеризующих компонент управленческого цикла "Управленческие решения". Все материалы и документы, соответствующие позициям оценивания этого компонента управленческого цикла, оцениваются по следующим параметрам:

- наличие управленческих решений;

- наличие сведений о сроках реализации;

- наличие сведений об ответственных/участниках.

Если представленные документы и материалы об управленческих решениях содержат сведения о сроках реализации, об ответственных/участниках, соответствующие баллы выставляются по трем параметрам оценивания.

Если представленные документы и материалы об управленческих решениях не содержат сведения о сроках реализации, об ответственных/участниках, то баллы выставляются за их наличие и за тот параметр (сведения о сроках реализации/сведения об ответственных/участниках), который присутствует, а за отсутствующий параметр выставляется 0 баллов.

Если управленческие решения отсутствуют, то по всем трем параметрам выставляется 0 баллов.

Оценка материалов и документов, характеризующих компонент управленческого цикла "Анализ эффективности принятых мер". Все материалы и документы, соответствующие позициям оценивания этого компонента управленческого цикла, оцениваются по следующим параметрам:

- наличие анализа эффективности принятых мер/мероприятий;

- наличие сведений о сроках проведения анализа эффективности принятых мер/мероприятий;

- определение проблемы по итогам проведенного анализа.

Если представленные документы и материалы об анализе эффективности принятых мер/мероприятий содержат сведения о сроках его проведения и включают проблему, определенную по итогам проведенного анализа, соответствующие баллы выставляются по трем параметрам оценивания.

Если представленные документы и материалы об анализе эффективности принятых мер/мероприятий не содержат сведения о сроках его проведения или не включают проблему, определенную по итогам проведенного анализа, то баллы выставляются за наличие анализа и за тот параметр (сведения о сроках проведения анализа эффективности мер/мероприятия/определение проблемы по итогам проведенного анализа), который присутствует, а за отсутствующий параметр выставляется 0 баллов.

Если анализ эффективности принятых мер отсутствует, то по всем трем параметрам выставляется 0 баллов.