Паспорт прескриптивной экспертизы

ПАСПОРТ ЭКСПЕРТИЗЫ
Прескриптивная оценка государственных целей и стратегий
Содержание
1. Общие положения
2. Назначение и область применения
3. Методология оценки
4. Типы латентного распада
5. Регламент экспертизы
6. Противодействие регрессу
7. Статус института оценки
8. Документооборот
9. Границы применимости
10. Культурная нейтральность
Приложение А. Шаблон заявки
Приложение Б. Шаблон диагностической карты
Приложение В. Шаблон заключения
Приложение Г. Шкала баллов и интерпретация
1. Общие положения
1.1. Назначение документа
Настоящий Паспорт описывает технологию, методологию и регламент
прескриптивной (превентивной) оценки государственных целей и стратегий.
Документ предназначен для органов власти, экспертных организаций и
общественных институтов, осуществляющих оценку качества целеполагания.
1.2. Термины и определения
Прескриптивная оценка— оценка качества целей и стратегий, проводимая до их
утверждения и выделения ресурсов.
Триада смысла— инструмент проверки содержательности цели: «идентичность—
предназначение— вклад».
Идентичность— характеристика субъекта (территории, организации, сообщества),
определяющая его уникальность и неотъемлемые свойства.
Предназначение— функция субъекта, логически вытекающая из его идентичности;
ответ на вопрос «зачем существует данный субъект в данном контексте».
Вклад— измеримый результат деятельности субъекта, логически вытекающий из
его предназначения; ответ на вопрос «что изменится».
Латентный распад— постепенная утрата стратегией исходного смысла без
видимых организационных изменений; проявляется через формализм, подмену
целей, автономизацию, риторизацию, дрейф.
Калибровка— процедура согласования оценок между тремя контурами:
самооценка, независимая оценка, общественная оценка.
Арбитраж— процедура разрешения расхождений между контурами оценки при
превышении порогового значения.
Регресс— постепенное вырождение института оценки в формальную процедуру,
утрату содержательности.
Прескриптивный кодекс— свод правил и критериев, определяющих требования к
качеству целей и процедуру их проверки.
Индикаторы осмысленности— шесть измеримых показателей, оценивающих
различные аспекты смысловой устойчивости целей.
1.3. Правовая основа
Паспорт разработан как методический документ, дополняющий действующее
законодательство. Предполагается интеграция через поправки в ФЗ-172 «О
стратегическом планировании в Российской Федерации» (7 новых статей) и
стыковку с Бюджетным кодексом РФ. До законодательного закрепления
применяется в добровольном (пилотном) режиме.
2. Назначение и область применения
2.1. Цель экспертизы
Выявление рисков латентного распада стратегий и программ на этапе
проектирования— до утверждения и выделения ресурсов— и выработка
рекомендаций по повышению смысловой устойчивости целей.
2.2. Объекты экспертизы
• стратегии социально-экономического развития (федеральные, региональные,
муниципальные);
• государственные программы и подпрограммы;
• национальные проекты и проекты регионального развития;
• стратегии ведомств и отдельных организаций с государственным участием;
• концепции и доктрины (отраслевые, тематические);
• образовательные программы (магистратура, аспирантура, ДПО) — при интеграции
в систему контроля качества образования.
2.3. Режимы применения
Обязательный режим. Применяется после законодательного закрепления.
Прескриптивная экспертиза является обязательным этапом до утверждения
стратегии или программы. Без заключения института оценки документ не выносится
на утверждение.
Добровольный режим. Применяется до законодательного закрепления (пилотный
этап). Заказчик— орган власти или организация— по собственной инициативе
направляет документ на прескриптивную оценку. Результат носит
рекомендательный характер.
2.4. Заказчики экспертизы
• органы исполнительной власти (федеральные, региональные);
• органы законодательной власти (для экспертизы предлагаемых программ);
• общественные палаты и общественные советы;
• организации, разрабатывающие стратегии и программы;
• граждане и НКО— через общественный контур оценки.
3. Методология оценки
3.1. Шкала оценки
Максимальный балл— 42. Состоит из двух блоков: триада смысла (9 баллов) и
шесть индикаторов осмысленности (33 балла).
3.2. Триада смысла (9 баллов)
Триада— базовый инструмент проверки содержательности цели. Каждый
элемент оценивается от 0 до 3 баллов:
Элемент Вопрос Критерий Макс. балл
Идентичность
сформулирована
Идентичность Кто мы? Что определяет нашу
уникальность?
содержательно, конкретно,
3
проверяемо. Не сводится к
общим формулировкам.
Предназначение логически
Предназначение Зачем мы существуем в
данном контексте?
вытекает из идентичности. Не
3
подменяется средствами или
показателями.
Вклад Что изменится в результате
нашей деятельности?
Вклад измерим, логически
вытекает из предназначения.
Не сводится к отчётным
показателям.
3
Баллы по триаде:
• 3 балла— элемент сформулирован содержательно, конкретно, проверяемо,
логически связан с другими элементами.
• 2 балла— элемент сформулирован, но недостаточно конкретен или связь с
соседним элементом прослеживается слабо.
• 1 балл— элемент заявлен номинально, содержание отсутствует или сводится к
общим формулировкам.
• 0 баллов— элемент отсутствует или противоречит другим элементам триады.
3.3. Пять элементов технологии
Содержательный критерий— Цель оценивается не по отчётным показателям, а по
ответу на вопрос «зачем?». Показатель вторичен, смысл первичен.
Прескриптивный кодекс— Свод правил и критериев, определяющих требования к
качеству целей и процедуру проверки. Открытый, проверяемый, пересматриваемый.
Институт оценки— Независимый орган с полномочиями проводить
прескриптивную оценку. Трёхконтурная калибровка, арбитраж, ротация, защита от
регресса.
Превентивная проверка— Оценка проводится до утверждения и выделения
ресурсов, а не после. Цель— предотвратить, а не констатировать.
Культурная нейтральность— Методика применима в любом культурном и
институциональном контексте. Не навязывает ценности, а проверяет логику
целеполагания.
3.4. Шесть индикаторов осмысленности (33 балла)
Универсальность критериев.
Итоговый балл= сумма баллов по триаде (до 9) + сумма баллов по индикаторам
(до 33). Максимум— 42 балла.
№ Индикатор Что измеряет Макс. балл
1 Шкала «вклад— результат»
Соотношение между
заявленным вкладом и
измеримым результатом.
Вклад должен быть шире
отчётного показателя.
6
2 Тест на подмену целей
Выявление ситуаций, когда
средства (цифровизация,
кадры, инвестиции)
оформлены как
самостоятельные цели.
6
3 Чек-лист формализма
Наличие конкретики,
механизмов, ответственных,
сроков. Отсутствие общих
формулировок без
содержания.
6
4 Индекс риторизации
Доля декларативных
формулировок, не
операционализированных в
критерии и индикаторы.
5
5 Тест на автономизацию
Сохранение логической связи
между элементами стратегии.
Выявление элементов,
«живущих своей жизнью».
5
6 Тест на культурную
нейтральность
Применимость методики без
навязывания ценностей.
5
4. Типы латентного распада
Латентный распад— постепенная утрата стратегией исходного смысла без
видимых организационных изменений. Пять типов распада выявляются в процессе
прескриптивной оценки.
4.1. Формализм
Цели заменяются формальными процедурами. Документ существует, но не
содержит конкретики, механизмов, ответственных.
Признаки: общие формулировки; отсутствие конкретики; отсутствие механизмов;
KPI не связаны со смыслом; отчётность заменяет результат.
Индикаторы: чек-лист формализма (низкий балл); индекс риторизации (высокий).
4.2. Подмена целей
Средства оформляются как цели. Цифровизация, кадры, инвестиции,
инфраструктура представлены как самостоятельные цели, а не инструменты.
Признаки: формулировки «развитие цифровизации», «привлечение кадров» без
указания, для какой цели; KPI измеряют средства, а не результат.
Индикаторы: тест на подмену целей (низкий балл); шкала «вклад— результат»
(низкий балл).
4.3. Автономизация
Отдельные элементы стратегии или структуры «начинают жить своей жизнью»,
теряя связь с общей логикой. Подразделения оптимизируют свои показатели, а не
вклад в общую цель.
Признаки: расхождения между целями подразделений и целями стратегии;
отчётность по KPI без связи с общим смыслом; «бункерный» подход.
Индикаторы: тест на автономизацию (низкий балл).
4.4. Риторизация
Декларативные формулировки не операционализированы. «Расцвет культуры»,
«гармоничное развитие», «повышение качества» звучат, но не раскрыты.
Признаки: красивые формулировки без критериев и индикаторов; невозможность
проверить, достигнута ли цель; перенос шаблонных фраз из документа в документ.
Индикаторы: индекс риторизации (высокий балл— много риторики).
4.5. Дрейф
Постепенное смещение целей под влиянием внешних факторов без осознания и
фиксации изменения. Стратегия номинально та же, фактически— другая.
Признаки: расхождения между текстом стратегии и реальными решениями;
отсутствие документально зафиксированных корректировок; «тихое» изменение
приоритетов.
Индикаторы: тест на автономизацию; сравнение версий документа (при
повторной оценке).
5. Регламент экспертизы
5.1. Сроки
• Стандартная экспертиза— 56 дней с момента регистрации заявки.
• Экспресс-оценка— 21 день (по сокращённому регламенту, один контур).
• Повторная оценка (после доработки) — 30 дней.
5.2. Этапы экспертизы
Этап 1. Регистрация заявки— Заказчик направляет заявку (Приложение А) и
оцениваемый документ. Срок: 3 дня.
Этап 2. Предварительный анализ— Координатор экспертизы проводит
первичный просмотр: полнота, соответствие объекту, назначение контуров. Срок: 5
дней.
Этап 3. Формирование экспертной группы— Назначение экспертов по трём
контурам. Минимум 2 эксперта на контур. Срок: 5 дней.
Этап 4. Самооценка (контур 1) — Эксперты заказчика (или авторы документа)
заполняют диагностическую карту (Приложение Б) самостоятельно. Срок: 10 дней.
Этап 5. Независимая оценка (контур 2) — Независимые эксперты института
оценки заполняют диагностическую карту. Срок: 14 дней (параллельно с этапом 4
или после).
Этап 6. Общественная оценка (контур 3) — Представители общественных
институтов (Общественная палата, НКО, профессиональные сообщества) заполняют
диагностическую карту. Срок: 14 дней (параллельно или после этапа 5).
Этап 7. Сведение оценок— Координатор сводит три оценки. Вычисляется медиана
трёх контуров. Срок: 3 дня.
Этап 8. Арбитраж (при необходимости) — Если расхождение между контурами ;
2 балла по любому индикатору или триаде— запуск арбитража. Три независимых
члена (ротационный состав). Срок: 14 дней.
Этап 9. Формирование заключения— Координатор готовит заключение
(Приложение В) с итоговым баллом, диагнозом, рекомендациями. Срок: 3 дня.
Этап 10. Передача заказчику— Заказчик получает заключение и диагностические
карты. Срок: 2 дня.
Этап 11. Повторная оценка (при необходимости) — Если рекомендован тип Б или
В— доработка и повторная подача. Срок доработки— до 60 дней. Повторная
оценка— 30 дней.
5.3. Трёхконтурная калибровка
Оценка проводится по трём контурам для обеспечения объективности и
предотвращения монополии одной точки зрения.
Контур 1 — самооценка. Проводится заказчиком или авторами документа. Цель:
зафиксировать собственное понимание смысла целей.
Контур 2 — независимая оценка. Проводится экспертами института оценки. Цель:
экспертная проверка содержательности и логики.
Контур 3 — общественная оценка. Проводится представителями общественных
институтов. Цель: легитимизация оценки и учёт внешних перспектив.
Итоговый балл по каждому показателю = медиана трёх контуров. Медиана выбрана,
а не среднее арифметическое, для устойчивости к выбросам.
5.4. Арбитраж
Условие запуска: расхождение между контурами ; 2 баллов по любому элементу
триады или индикатору.
• Состав: 3 независимых члена (ротационный, не участвовавшие в данной
экспертизе).
• Срок: 14 дней с момента запуска.
• Решение арбитража: окончательное, заносится в заключение.
• Основание решения: сопоставление трёх диагностических карт, аргументация
каждого контура, проверка по Прескриптивному кодексу.
6. Противодействие регрессу
Регресс— постепенное вырождение института оценки в формальную
процедуру. Без защиты от регресса сам институт оценки становится источником
формализма, который он призван выявлять.
6.1. Пять признаков регресса
Снижение разброса оценок. Все эксперты ставят одинаковые баллы— признак
сговора или формального подхода.
Стабильность во времени. Оценки не меняются от цикла к циклу— признак, что
эксперты не вникают в содержание.
Совпадение самооценки и независимой оценки. Систематическое совпадение—
признак захвата института заказчиком.
Рост доли «положительных» заключений. Превышение 80% — признак, что
институт превратился в штамп.
Отсутствие рекомендаций типа В и Г. Институт никогда не рекомендует
переработку или возврат— признак, что он боится принимать жёсткие решения.
6.2. Пять механизмов защиты
Ротация экспертов. Состав экспертной группы меняется каждые 2 цикла (или 1 раз
в год). Ни один эксперт не участвует более 2 циклов подряд в одном составе.
Двойная подчинённость. Институт оценки подчинён одновременно заказчику (по
ресурсам) и независимому органу (по методологии). Это предотвращает захват с
одной стороны.
Открытость. Диагностические карты, заключения и баллы публикуются. Заказчик
может оспорить, но не может скрыть.
Самооценка института. Раз в год институт оценки сам проходит прескриптивную
оценку— по той же методологии, что и стратегии. Результат публикуется.
Внешний аудит. Раз в 2 года внешний аудитор проверяет: разброс оценок,
динамику, долю заключений по типам, корреляцию между контурами. Результат
публикуется.
7. Статус института оценки
7.1. Полномочия
• Проведение прескриптивной оценки целей и стратегий.
• Формирование экспертных групп по трём контурам.
• Подготовка заключений и рекомендаций.
• Запуск процедуры арбитража при расхождениях.
• Публикация результатов (диагностические карты— обезличенные, заключения—
полностью).
7.2. Ограничения
• Не вправе изменять оцениваемый документ.
• Не вправе утверждать или отклонять стратегию— только рекомендовать.
• Не вправе оценивать то, что не относится к целеполаганию (бухгалтерская
отчётность, технические стандарты).
• Не вправе навязывать ценностные установки— только проверять логику.
7.3. Подчинённость
Двойная подчинённость: по ресурсам— заказчику (орган власти, направивший
документ); по методологии— независимому методологическому совету (учёные,
эксперты, представители общественных институтов). Методологический совет
утверждает Прескриптивный кодекс, регламент и состав ротационного пула
арбитров.
7.4. Состав
• Координатор экспертизы— 1 человек (организует процесс, не оценивает).
• Эксперты контура 1 (самооценка) — назначаются заказчиком.
• Эксперты контура 2 (независимая) — из ротационного пула института, минимум 2
человека.
• Эксперты контура 3 (общественная) — от общественных институтов, минимум 2
человека.
• Арбитры— 3 человека из отдельного ротационного пула, не участвовавшие в
текущей экспертизе.
7.5. Требования к экспертам
• Опыт работы в соответствующей предметной области— не менее 5 лет.
• Прохождение обучения по методологии прескриптивной оценки (курс или интенсив
16–24 часа).
• Отсутствие конфликта интересов с заказчиком и авторами документа.
• Готовность к ротации— не более 2 циклов подряд.
8. Документооборот
8.1. Входящие документы
• Заявка на экспертизу (Приложение А).
• Оцениваемый документ (стратегия, программа, концепция).
• Сопроводительные материалы (при наличии): аналитические записки, обоснования,
предыдущие версии.
8.2. Рабочие документы
• Диагностическая карта (Приложение Б) — заполняется по трём контурам.
• Протоколы арбитража (при запуске).
• Сводная таблица оценок (медиана по каждому показателю).
8.3. Исходящие документы
• Заключение (Приложение В) — итоговый документ с баллом, диагнозом,
рекомендациями.
• Рекомендации по доработке (при типе Б или В).
8.4. Типы заключений
Тип Условие Действие
А 36–42 балла. Высокая осмысленность.
Б 25–35 баллов. Средняя осмысленность.
В 17–24 балла. Низкая осмысленность.
Г 0–16 баллов. Критическая
осмысленность.
Утверждение. Стратегия готова к
реализации.
Доработка. Внести изменения в течение
60 дней, повторная оценка.
Переработка. Существенная переработка
целей, повторная оценка.
Возврат. Цели не выдерживают проверку,
документ требует пересоздания.
9. Границы применимости
9.1. Что не оценивается
• Бухгалтерская и финансовая отчётность.
• Технические стандарты и регламенты (ГОСТы, СНиПы и т. д.).
• Оперативные планы и тактические решения.
• Документы, не содержащие целеполагания (инструкции, регламенты процедур).
9.2. Честная декларация позиции
Прескриптивная оценка не претендует на универсальность и абсолютную
объективность. Это— управленческая технология, снижающая риски латентного
распада, но не гарантирующая их полного устранения. Методология основана на
определённом понимании смысла (триада «идентичность— предназначение—
вклад») и открыта для критики, пересмотра и развития. Курс v3.0 специально
включает работу-оппонент (Д. Мюллер «Тирания метрик») и предусматривает
высший балл за эссе-критику авторской методологии.
9.3. Риск ложной точности
Балльная шкала (42 балла) создаёт иллюзию точности, которой в гуманитарной
экспертизе не может быть по определению. Балл— это инструмент сравнения и
диагностики, а не точное измерение. Различия в 1–2 балла не значимы. Значимы
различия в 5 и более баллов— они указывают на качественные различия в
осмысленности.
9.4. Ограничения культурной нейтральности
Методика заявлена как культурно нейтральная, однако триада смысла
(«идентичность— предназначение— вклад») сама по себе несёт определённое
философское содержание. Культурная нейтральность означает не отсутствие
ценностей, а их явное декларирование и непротиворечивость разным культурным
контекстам. Методика не навязывает содержание идентичности, предназначения или
вклада— она проверяет логическую связность.
10. Культурная нейтральность
10.1. Принцип
Методика применима в любом культурном, институциональном и политическом
контексте. Она не навязывает содержание целей, а проверяет их логическую
устойчивость. Что считать идентичностью, предназначением и вкладом— решает
сам субъект. Методика проверяет, выстроена ли логическая цепочка.
10.2. Границы
• Методика не оценивает, «правильная» ли идентичность. Она проверяет,
сформулирована ли она содержательно.
• Методика не оценивает, «достойное» ли предназначение. Она проверяет, вытекает
ли оно из идентичности.
• Методика не оценивает, «достаточный» ли вклад. Она проверяет, вытекает ли он из
предназначения.
• Методика не навязывает ценности, но и не лишает экспертов права на ценностную
аргументацию— при условии её явного декларирования.
10.3. Международная применимость
Методика проверена на кейсах Сингапура (национальная идентичность как
основа стратегии), Финляндии (вклад в глобальное образование как предназначение),
Бутана (валовое национальное счастье как измерение вклада). Эти кейсы
демонстрируют, что триада смысла работает в разных культурных контекстах без
навязывания западных, восточных или иных ценностных рамок.
Приложение А. Шаблон заявки на экспертизу
Заполняется заказчиком экспертизы.
1. Заказчик: Наименование органа / организации. ФИО ответственного лица.
Контактные данные.
2. Объект оценки: Наименование документа (стратегия, программа, концепция).
Реквизиты утверждения (при наличии).
3. Режим экспертизы: Обязательный / добровольный (пилотный).
4. Тип экспертизы: Стандартная (56 дней) / экспресс (21 день) / повторная (30
дней).
5. Предметная область: Культура / образование / экономика / социальная сфера /
прочее.
6. Ожидаемый результат: Заключение с рекомендациями / диагностическая карта /
сравнительный анализ версий.
7. Срок предоставления результата: Указывается заказчиком (не менее
стандартного срока).
8. Дополнительные материалы: Перечень приложений (предыдущие версии,
аналитические записки, экспертные отзывы).
9. Согласие на публикацию: Да / нет / частично (обезличенные диагностические
карты).
10. Подпись заказчика: ФИО, должность, подпись, дата.
Приложение Б. Шаблон диагностической карты
Заполняется каждым экспертом по каждому контуру.
Раздел 1. Триада смысла (9 баллов)
1.1. Идентичность. Балл (0–3). Аргументация эксперта:
1.2. Предназначение. Балл (0–3). Аргументация эксперта:
1.3. Вклад. Балл (0–3). Аргументация эксперта:
1.4. Связность триады. Логически ли вытекает предназначение из идентичности, а
вклад— из предназначения? Да / нет / частично. Комментарий:
Раздел 2. Индикаторы осмысленности (33 балла)
Индикатор Балл (0–макс) Аргументация Тип распада
1. Шкала «вклад— результат»
___
2. Тест на подмену целей
___
3. Чек-лист формализма ___
4. Индекс риторизации ___
5. Тест на автономизацию
___
6. Тест на культурную
нейтральность___
/ 6
/ 6
/ 6
/ 5
/ 5
/ 5
Раздел 3. Сводка
Балл по триаде:
/ 9
___
Балл по индикаторам:
/ 33
___
Итоговый балл:
/ 42
___
Тип заключения (А / Б / В / Г): ___
Выявленные типы латентного распада:
______________________
Раздел 4. Рекомендации
4.1. Рекомендуемые действия (доработка / переработка / возврат / утверждение):
4.2. Конкретные предложения по доработке (по элементам триады и индикаторам):
4.3. Риски, не учтённые в документе:
Раздел 5. Подписи
ФИО эксперта:
______________________
Контур (1 / 2 / 3): ______________________
Дата:
Подпись:
______________________
______________________
Приложение В. Шаблон заключения
1. Регистрационный номер: Присваивается институтом оценки.
2. Дата выдачи: Дата передачи заказчику.
3. Заказчик: Наименование органа / организации.
4. Объект оценки: Наименование документа, реквизиты.
5. Режим: Обязательный / добровольный.
6. Состав экспертной группы: Координатор, эксперты по контурам (ФИО,
количество), арбитры (при наличии).
7. Срок проведения: Даты начала и окончания, количество дней.
8. Итоговый балл:
___
из 42. Процент от максимума.
9. Балл по триаде:
___
из 9 (с разбивкой по элементам).
10. Балл по индикаторам:
___
из 33 (с разбивкой по индикаторам).
11. Выявленные типы распада: Перечень с краткой аргументацией.
12. Диагноз: Краткая содержательная характеристика (2–3 абзаца).
13. Тип заключения: А / Б / В / Г.
14. Рекомендации: Конкретные предложения по доработке (при типе Б/В/Г) или
подтверждение готовности (при типе А).
Подпись координатора:
______________________
Подпись руководителя института оценки:
Дата:
______________________
Печать (при наличии): ______________________
______________________
Приложение Г. Шкала баллов и интерпретация
идентичность не раскрыта.
Уровень осмысленности Балл Интерпретация Решение и действия
Высокий 36–42
Цели содержательны,
логически связаны,
идентичность раскрыта, вклад
измерим, формализм и
риторизация минимальны.
Тип А. Утверждение.
Стратегия готова к
реализации.
Средний 25–35
Цели в основном
сформулированы, но
отдельные элементы триады
или индикаторы требуют
доработки.
Тип Б. Доработка в течение 60
дней, повторная оценка.
Низкий 17–24
Цели заявлены номинально,
триада распадается, выявлены
множественные типы
латентного распада.
Тип В. Переработка,
повторная оценка.
Критический 0–16
Цели не выдерживают
проверку, документ написан
как универсальный шаблон,
Тип Г. Возврат, пересоздание
документа.
Примечание: различия в 1–2 балла не являются значимыми. Значимы различия в 5 и
более баллов— они указывают на качественные различия в осмысленности.
Контактная информация
Автор методологии и контактное лицо:
Р. С. Нерсесян