2.2. Рекомендации по обеспечению работы с открытыми данными

Организация работы ТОФК с открытыми данными может быть организована по следующим основным этапам:

1 этап - организация исполнения требований текущего законодательства в области открытых данных.

2 этап - организационные мероприятия по формированию системы работы в ТОФК, обучение и повышение информированности сотрудников ТОФК о принципах работы с открытыми данными.

3 этап - налаживание аналитической и технологической работы с информационно-коммуникационными системами, их доработка с учетом требований публикации открытых данных.

4 этап - верификация и уточнение данных.

2.2.1. Выполнение требований законодательства

Российской Федерации в области открытых данных

В открытом доступе в сети Интернет в формате открытых данных могут быть опубликованы все данные, собираемые, хранимые и обрабатываемые ТОФК в рамках своих полномочий, за исключением:

персональных данных;

данных, которые являются государственной тайной;

данных, доступ к которым ограничен законодательством Российской Федерации.

Первоочередной и обязательной публикации подлежат:

Рекомендуется публиковать данные с максимальной глубиной детализации, без агрегации (заведомого укрупнения содержания данных, приводящего к потере важной информации из предметной области, описанной данными). Также рекомендуется публиковать данные с максимальной исторической хронологией. Например, публиковать можно различные версии одного набора данных, различающиеся по времени опубликования, по составу и названию структурных элементов данных (например, различные версии хранения и описания адреса места жительства, или внесение исправлений в данные в новой версии, или появление дополнительных атрибутов, описывающих сущности в наборе данных). Агрегированные данные и данные без исторической хронологии имеют низкую ценность и не будут востребованы конечными потребителями.

Публикация данных в сети Интернет в формате открытых данных

Публикацию наборов данных в формате открытых данных следует производить в соответствии с "Методическими рекомендациями о публикации открытых данных государственными органами и органами местного самоуправления и техническими требованиями к публикации открытых данных" от 2013 г., разработанными Минэкономразвития России и доступными на сайте www.ar.gov.ru в подразделе "Открытые данные" раздела "Информационная открытость" <1>.

--------------------------------

<1> На 12:00, 05.06.2013, скачать данные методические рекомендации можно по ссылке: http://ar.gov.ru/inform_otkritost_05_otkritii_dannie/index.html.

В частности, детализируется публикация наборов данных на следующие этапы:

1. Подготовка раздела открытых данных на официальном сайте ТОФК.

2. Подготовка паспорта и самого набора данных.

3. Публикация паспорта набора данных и сам набор данных.

4. Подготовка и публикация реестра всех открытых данных.

Подготовка раздела открытых данных на сайте ТОФК делается единовременно. Подготовка и публикация паспорта и реестра наборов данных делается каждый раз при публикации нового набора данных, а подготовка и публикация самого набора данных делается регулярно, в соответствии с периодичностью обновления самих данных.

Подготовка паспорта и самого набора данных

Паспорт набора данных - визитная карточка набора данных, содержащая исчерпывающую информацию о наборе данных, необходимую для разработчиков. Паспорт каждого набора данных ТОФК должен включать детальные сведения о происхождении и свойствах набора данных (т.н. метаданные).

Сам набор данных необходимо предварительно перевести либо в csv- (для простых линейных таблиц), либо в xml-формат (для более сложных иерархических таблиц). Перевод линейных таблиц в csv-формат может быть организован стандартными средствами Microsoft Excel и не потребует значительных усилий. Если данные публикуются в xml-формате, необходимо также опубликовать и схему этих данных в xsd-формате. Если исходные данные находятся в форматах PDF или это скан-копии документов, необходимо первоначально перевести их в машиночитаемый вид (распознать их с помощью специального программного обеспечения). Наборы, которые превышают по объему 10 Мб, лучше публиковать в сжатом формате ZIP (в заархивированном виде).

Подготовка и публикация реестра открытых данных ТОФК

Реестр наборов данных необходим для того, чтобы была возможность централизованно получать информацию обо всех наборах данных, опубликованных ТОФК, а также для автоматизированного мониторинга результатов открытия данных.

Реестр ведется по всем наборам данных ТОФК и должен содержать название набора данных и ссылку на страницу набора данных.

Реестр готовится в формате CSV и публикуется на главной странице раздела открытых данных в формате, удобном, прежде всего, визуально, для чтения человеком (например, HTML) и машиночитаемом формате (например, CSV).

2.2.2. Организационные мероприятия по формированию системы

работы в ТОФК в области открытых данных, обучение

и повышение информированности сотрудников ТОФК

о принципах работы с открытыми данными

Установление ответственных в ТОФК по вопросу открытия данных

Развитие работы с открытыми данными подразумевает назначение в ТОФК должностного лица, ответственного за работу с открытыми данными, уполномоченного принимать решения по публикации данных в рамках полномочий ведомства (далее - уполномоченный по открытым данным). Квалификация уполномоченного по открытым данным должна удовлетворять следующим требованиям:

- знание внутренних информационных систем ТОФК;

- владение актуальной информацией о данных, собираемых ТОФК в рамках своих полномочий;

- владение исчерпывающей информацией о планах по работе с данными;

- знание всех внутренних нормативных правовых актов ведомства, в том числе имеющих отношение к организации работы с открытыми данными.

Публикация справочников ТОФК

Важным этапом работы с открытыми данными является публикация в формате открытых данных всех справочников и классификаторов, которые ТОФК ведет в пределах своих полномочий и публикация которых не противоречит законодательству Российской Федерации.

Обучение сотрудников ТОФК

Открытые данные - постоянно развивающееся направление, поэтому сотрудники ТОФК, задействованные в работе с открытыми данными, должны периодически проходить обучение по актуальным проблемам открытия государственных данных.

Периодичность и объем специализированного обучения определяется по согласованию с Федеральным казначейством и зависит от потребностей ТОФК и функциональных обязанностей его сотрудников. Требования представляются лишь к базовым навыкам и знаниям в области открытых данных. Сотрудник, принимающий участие в работе с открытыми данными, в рамках повышения квалификации должен развивать следующие компетенции:

- уметь подготавливать набор данных к публикации (определять нужный формат публикации, готовить паспорт набора данных, разбираться в технической инфраструктуре для публикации);

- уметь вести диалог с заинтересованными потребителями открытых данных по вопросам использования наборов данных и совершенствования их качества;

- осуществлять мониторинг фактического использования открытых данных, публикуемых ТОФК;

- знать действующую нормативную правовую базу, регулирующую открытие государственных данных.

2.2.3. Налаживание аналитической и технологической работы

с информационно-коммуникационных системами, их доработка

с учетом требований публикации открытых данных

На следующем этапе работы с открытыми данными обеспечивается системный подход к анализу имеющихся информационных систем ТОФК, а также анализу данных, хранящихся в этих информационных системах.

При выборе приоритетных наборов данных для публикации могут использоваться следующие критерии:

- востребованность данных гражданами и бизнесом;

- высокая степень готовности данных для публикации в формате открытых данных;

- данные уже публикуются в сети Интернет, но не в машиночитаемом формате;

- подготовка данных и их публикация не требует дополнительных финансовых вложений.

2.2.4. Верификация и уточнение данных

Развитие направления открытых данных подразумевает организацию отлаженной работы с потребителями данных - гражданами и разработчиками. Взаимодействие необходимо организовать по двум основным направлениям:

1. Оценка потребности в открытых данных, выявление первоочередных данных для публикации.

2. Процесс исправления фактических ошибок в открытых данных, описывающих объекты в предметной области деятельности ТОФК, и выверка самих данных (процесс соотнесения состояния объекта в реальном мире с его описанием в информационной системе ТОФК на основе данных системы).

Сбор информации о востребованности данных может быть организован одним из следующих способов:

а) оценка запросов пользователей посредством обратной связи;

б) электронные опросы на официальном сайте ТОФК, а также на тематических форумах и сообществах в социальных сетях;

в) адресные опросы наиболее крупных и активных разработчиков, работающих по этому направлению;

г) оценка поискового трафика ведущих поисковых площадок.

Обратная связь от потребителей открытых данных также должна использоваться при очистке и выверке самих данных. В ТОФК должен быть разработан собственный внутренний регламент, организующий работу с сообщениями об ошибках в данных, полученных по каналам обратной связи ТОФК с заинтересованными референтными группами и экспертами.

Регламент должен описывать последовательность действий сотрудников при получении сообщений об ошибках в данных, регламентировать сроки реакции ТОФК на сообщение, описывать механизм признания сообщения актуальным или неактуальным, а также описывать механизм действий по итогам принятия решения. Необходимо организовать работу по выверке данных таким образом, чтобы ошибки в данных (фактические значения в описании объектов информационных систем ТОФК, названия структурных элементов), признанные актуальными, учитывались непосредственно в самих информационных системах, источниках данных.