Затова седнах и първо отворих данните за спирките на споменатите три града. За тези в София вече писах във Facebook. В Бургас въпреки евро-проекта за интегриран транспорт, изглежда няма дори дигитална карта на спирките.

С тези прости данни направих бързи карти на спирките на София, Пловдив и Варна. Като спрете с мишката върху всяка точка, ще видите името ѝ. Вляво има бутон, с който може да ги разглеждате на цял екран.

Скриптовете и самите данни за спирките публикувах в Github. Ще ги намерите на страницата ми с Gist-ове.

Транспортът във Варна

Във Варна, всъщност, данните дори не са налични от общината, а от частния проект varnatraffic.com на Мап Софт. Той е и единственият, който намерих да показва местоположението на автобусите в реално време. Използвах данните им на база съобщение на сайта от преди две години, че предоставят всичко свободно като отворени данни.

За да илюстрирам колко е полезна тази информация, свалям вече седмица местоположението на всички автобуси в града. За този период събрах около 650 хиляди точки с различни параметри – номер на автобуса, предишна и следваща спирка, оставащо разстояние до спирката, закъснение. Следните три карти показват различен поглед над събраните данни.

Първата карта разглежда движението за седмицата между 21-ви и 28-ми март по часове и колко автобуси са били по улиците на града. В червено са доста натоварени отсечки, където много автобуси са се движели през дадения час. Картата показва как се увеличава и намалява този трафик в различните части на деня, както и през почивните дни. В неделя не се забелязва по-малко натоварване, за което вероятно допринасят и провелите се тогава избори.

Следващата карта се концентрира само върху понеделник, 27-ми март. Показва в детайли движението на всеки един автобус. В червено са отбелязани тези, които закъсняват повече от 5 мин. Забелязва се как между 7 и 8:30 вечерта много от автобусите закъсняват. Виждат се ясно и местата, където автобусите спират за почивки.

Тъй като имаме закъсненията преди всяка спирка, може да анализираме и каква е вероятността да се чака на нея. Може също да разделим тази оценка по часове. Последната карта показва именно това. Анализът се базира само на данните от последните 7-8 дни. Пренебрегнете посочената дата в картата – часът е важен. Инструментът не позволява показването са на час.

В зелено са спирките, на които в конкретната част от деня се чака не повече от 15 секунди. В жълто са тези до 30 секунди. В гамата на червено са тези със закъснение между минута и час. Отново се вижда колко голямо средно закъснение има в различни часове от дена и части на града.

В някои случаи включвам и автобусите пристигнали с няколко минути по-рано – това също се счита за отклонение, тъй като някои пътници биха го изпуснали. Редовни такива показатели сочат към неоптимално разписание на даденото място и час. Такива са 26% от събраните точки за движението на градския транспорт. В 8.7% от времето, автобусите са подранявали с повече от 3 минути. В други 50% автобусите са закъснявали с повече от 20 секунди.

Публичността не е услуга

Публичността на която и да е информация не е услуга, която се представя от администрация или частна компания на обществото. Това е неизменна част от прозрачността, отчетността и социалната отговорност. За държавната и местната администрация отворените данни са още едно ниво на инфраструктура. Доскоро говорихме само за магистрали. В последните години започна все повече да се възприема и интернет свързаността като инфраструктура, при това не по-малко съществена за бизнеса. Информацията и най-вече тази в отворен формат придобива все по-голяма важност по аналогичен начин. Данните идващи от частните компании следва да допълнят тази картина и са новата дефиниция на социална отговорност, която често си приписват.

Това, което показах с данните от само няколко дни движение в един град, не са просто шарени карти. Това е илюстрация какво може да се направи за час-два работа, а не крайната цел. Информацията в момента се използва само за улеснение на пътуващите. Съберем ли всичко заедно за целия транспорт и за голям период, се отварят много възможности. Може да се открият проблемни кръстовища, да се подобрява графика, да се оптимизира движението на пътищата и интервала на светофарите. Дори само координатите на спирките може да се използват, за да се открият най-„изолираните“ части от градовете и да се направи карта на най-лошо свързаните региони.

Обединявайки тези данни с масиви за трафика на коли, цените на имотите, координатите на училища, градини и болници, за схемата на почистване на улиците и прочие може да позволи много по-добро градско планиране. По-важното обаче, ще позволи на частни компании и неправителствени организации да изградят приложения използващи данните по различен начин. Най-лесното би било да се направят по-добри приложения за планиране на маршрут с градския транспорт. Сайтовете за недвижими имоти биха давали по-добра информация за свързаността на имота. Родителите биха могли по-лесно да откриват градини и ясли, които са привидно отдалечени, но биха били достигнати лесно с транспорт от дома или офиса им.

Всичко това би помогнало да се направят градовете по-добри и да се използва публичния транспорт повече допринасайки за намаляване на трафика и замърсяването. За съжаление, интуицията на повечето чиновници и поддържащи такива масиви от данни е, че информацията е тяхна собственост и ако бъде публикувана „някой може да я използва“. Това е реакцията, която съм получавал най-често от агенции и общини. Забравя се, че всъщност вече сме платили с данъците си за събирането на всеки информационен ресурс. Забравя се и че целта на всички тези регистри и информационни системи е именно информацията да е достъпна. При тези мащаби с индивидуални справки, PDF-и и снимки на документи това просто не става.

За щастие, вече е в сила изискването, че всички публични данни във всяка нова система на администрацията трябва да са налични като отворени данни. Следва само да следим това да се спазва и да използваме тези ресурси. Съществуват обаче много други стари системи, за които трябва да натискаме да се отворят. Координатите на спирките и автобусите градския транспорт е само един пример. Друг пример са координатите в реално време на снегорини и камиони чистещи улиците зимно време. Общините ги следят, но не публикуват информацията. Друг пример са адресите в градовете, анонимизирани и агрегирани данни от НАП за плащанията на пос терминали и такива от МВР за престъпления.

Тези примери спадат към дефиницията на big data. Не са просто полезни за гражданите и бизнеса, а информация, която самите институции често не успяват да обменят помежду си или дори да анализират. Затова всичко описано до тук повишава не само прозрачността, но и ефективно постига аспекти от така нужната структурна реформа на администрацията ни.

В този блог съм писал много за отворените данни – технологиите, ползите, конкретни проекти, напредъка в България и критика за липсата на такъв. Малко обаче се говори за опасността от отворените данни. Както многократно съм изтъквал, те са нищо повече от технологичен инструмент, а почти всеки инструмент може да се използва двояко. Те може да гарантират възможно най-голяма прозрачност, но дяволът винаги е в детайлите.

Тук ще срещнете някои от аргументите, които критиците на open data използват в старанието си да спрат реформите. С риск да им помогна с още такива, реших да събера всичко тук. Към всеки обаче съм добавил как може да се реши или защо значението му се преекспонира. Винаги ще има съпротива и неразбиране към нуждата за прозрачност и в никакъв случай едно решение не може да е перфектно. Още повече технологично решение като отворените данни. Важно е и да разберем какво значат те в сегашния контекст в България.

Риск за лични данни и корпоративна информация

Проблем

Това е едно от най-честите притеснения, когато се обсъжда темата за отворените данни. Когато се „отварят“ масиви от информация, част от тях може да съдържат лични данни или търговска информация. Ако не се внимава, чиновниците може да публикуват всичко и да създадат предпоставка за кражба на самоличност или смяна на собственост на фирма чрез измама.

Анализ

Такива коментари имаше след обсъждането на промяната на тарифата за достъп до базата данни на Търговския регистър. Тя обещава истинско отваряне на данните и възможност обикновени граждани и НПО-та да анализират информацията. В същото време обаче критиците на мярката изтъкват, че автоматичният анализ на данните ще позволи на т.н. „крадци на компании“ да идентифицират по-лесно потенциални жертви.

Има две важни точки, с които трябва да започнем. Първо, кражби на компании са се случвали доста преди публикуването на Търговския регистър. Второ, в описаната мярка не се дава достъп до повече информация, а само улеснява достъпа до вече съществуващ автоматичен интерфейс. В този смисъл потенциалните измамници няма да получат повече информация. Наистина, има вероятност да автоматизират търсенето си, но това е възможно и чрез платените сега системи за търговска информация. По-достъпните отворени данни до Търговския регистър обаче ще позволят на много други организации да следят и анализират за такива измами, което ще помогне за решаването и дори предотвратяването им.

В по-широкия смисъл, риск за личните данни съдържани в държавните информационни системи има и сега. Прилагането на принципа за отворени данни може да има само положителен ефект върху един съществуващ проблем. Всяка такава промяна изисква анализ кое може да е публично и кое не. Автоматизацията на отварянето на данни ще елиминира човешките грешки, като например забравена колона с лични адреси в Excel таблица.

Решение

Отварянето на обществени данни няма да създаде повече проблеми, но ще даде инструменти за решаването на съществуващите. Заради липсата на ясни процедури и протоколи за сигурност, досега сме ставали често свидетели на течове на лични данни. Проблемът тук не е в новата технология, а в начинът на работа до сега. Процесът на отваряне на данни може да промени това.

Друг метод за скриване на лична и служебна информация е агрегирането. Пример за това има в становището ми за новия Административен регистър, където предложих да се публикува сумата от натрупаните отпуски на служителите във всяко ведомство. При достатъчно добре избрано групиране се гарантира неприкосновеността на личността, но и че няма да има загуба на полезна публично достъпна информация.

Потенциална уязвимост в сигурността

Проблем

Тази опасност е вариация на предишната точка. Рискът е, че при автоматичните интерфейси, които предоставят възможност за справки в публична информация, може да има уязвимости. Тази възможност съществува и сега, но аргументът е, че при повече такива интерфейси, рискът за пропуски е по-голям.

Анализ

Пример за такъв пропуск е регистъра за позволенията за сеч на Агенцията по горите. Това е прекрасен пример за прозрачност въведен от последния служебен кабинет, макар и да не може да се квалифицира като отворени данни. Докато го разглеждах, забелязах определена уязвимост с базата данни. След сигнал до администраторите тя беше оправена.

Такива проблеми има винаги във всяка система и изчистването им е продължителен процес. Това обаче не може да бъде аргумент срещу автоматизирането на достъпа до обществена информация. Точно обратното – когато има хора, които се занимават точно с това и използват ресурсите активно, грешките се намират по-бързо. Това всъщност е дори аргумент в ползва на отворения код в администрацията.

Решение

За да се подобри сигурността, трябва повече прозрачност при създаването, тестването и поддържането на информационните системи. Подходът към сигурността на софтуерът сега е подобен на този на цялата администрация – крием всичко с надеждата, че никой няма да забележи дупките. Това очевидно далеч не е достатъчно с днешните технологии.

Манипулация на официалните данни

Проблем

Публикуваните справки може да бъдат манипулирани от съответните ведомства с цел прикриване на злоупотреби. Доверието в отворените данни и автоматизацията на анализа и визуализацията ще скрие тези манипулации.

Анализ

Подмяната на данни е сериозен проблем, който забелязваме и сега. Засичането ѝ е сравнително трудно, освен, ако не знаеш какво търсиш. Тук добър пример е системата за случайно разпределение на дела в съдебната система. Всички резултати от нея са публични, но отдавна се знае колко лесна за манипулиране е.

Решение

В света на отворените данни вече има решение на това и за него се изисква просто повече данни от различни източници. Автоматичната проверка ще покаже грешки в данните, но и проблеми в дефинициите и интерпретацията. Друго решение тук е автоматизирането на справките. При липсата на човешка намеса подмяната на публичните данни ще стане изключително трудна.

Манипулация на интерпретацията на данните

Проблем

Отворените данни са просто инструмент, но като такъв имат нужда от история или графика, която да изведе истинската им стойност. Основавайки се на реални данни, журналисти и НПО-та може да показват грешни интерпретации подменящи значението на информацията.

Анализ

Отново, този проблем съществува и сега. Виждаме го ясно с данните за раждаемостта. Когато псевдо-експерти, журналисти и политици искат да манипулират общественото мнение на база реални данни, то единствената надежда е отговор изтъкващ фактите. За това обаче няма нужда от реални данни – при липсата им първите винаги са си измисляли статистика.

Решение

Достъпа до повече публична информация би дал още инструменти за оборване на подобни подвеждащи изказвания. Не може да има технологично решение за липсата на етика при експерти и журналисти.

Технологична изолация на местния бизнес

Проблем

Това е опасност, която не е толкова очевидна. Информацията е сила, а отворените данни дават възможност за откриване на нови ниши и оптимизация на бизнеса. Големи корпорации със сериозен ресурс може да се възползват по-добре от публичната информация и стандартизирани egov услуги и да надделеят над местния бизнес с локалните му знания и опит.

Анализ

Този проблем може да се илюстрира със създаването и отварянето на кадастър в някои провинции на Индия. Силно фрагментираната и неформално дефинирана собственост на земята там е била пречка за големия бизнес и въпросния регистър е извадил от бизнеса много локални посредници. В България може да се направи подобен аналог с множеството фирми, които се изхранват с попълване на документи и изпълнение на конкретни задачи заради проблемите в администрацията. Друг пример у нас биха били обществените поръчки, ако и когато уведомяването и кандидатстването за тях станат изцяло електронни.

По-добрият и стандартизиран достъп до информация наистина може да помогне на компаниите с повече опит в анализа. Това е аргумент в привличането на чуждестранни инвестиции. Инструментите за анализ обаче са широко достъпни в наши дни и няма пречка за малките компании да ги използват. Точно обратното – това създава огромна технологична ниша на местно ниво. Далеч сме от универсален анализ и интеграция на данни, затова знанията и опита на местно ниво винаги ще бъде нужен. Нещо повече – малкият бизнес дори може да спечели за сметка на големите международни компании, защото ще има достъп до повече инструменти и анализи, които досега са стрували скъпи. Пример за това отново е отварянето на данните на Търговския регистър, постановлението за което все още престоява в Министерски съвет.

Улеснение за корпоративните лобисти

Проблем

Лобистки организации могат да използват същите тези инструменти за прозрачност, за да оптимизират отпорът си срещу регулаторни мерки.

Анализ

Отворените данни могат да се използват за идентифициране на проблеми в администрацията, изобличаване на корупция и проблеми при поръчки. Граждански организации могат да идентифицират рано проекти и наредби и да участват в дебатите. Аналогично обаче лобистките организации и НПО-та с непрозрачно финансиране могат да използват тези инструменти, за да оптимизират натиска си.

Пример за това може да бъдат проектите за закони и нормативни актове. Публикуването им на сайта на НС и Strategy.bg ни помага да реагираме по-рано, да задаваме правилните въпроси и да се организираме срещу корупционни практики и спорни текстове. Същото може да се направи обаче и срещу реформи заложени в тези проекти. Засичайки ги рано, тези организации може да организират кампании на дезинформация създавайки изкуствени скандали.

Решение

Отново този проблем съществува и сега. За жалост не малка част от медиите се използват като пощенски кутии за такива изкуствени скандали. Лобистки поправки и влияние се забелязват отдавана и каналите, по които получават информация за подготвени проекти, далеч не се ограничава до публично публикуваната информация. Отворените данни биха били решение именно на този проблем, защото биха автоматизирали публичността на редица процеси. Пример затова е случайното разпределение на делата, публичните консултации и обществените поръчки.

Обръщането на същия този механизъм срещу прозрачността и в полза на лобиските практики е теоретична възможност. Това само по себе си обаче няма да остане скрито, което до голяма степен ще го обезсмисли. Негативните кампании в медиите съществуват и сега и няма да се преборим с тях чрез повече публичност. Те са въпрос на медийна етика и обществено съзнание – въпроси, които не могат да се решат с технологии.

TEDxBG са пуснали вчера записа на лекцията ми за отворените данни от последното издание. Писах повече за нея през май. Като за първа лекция на английски не мисля, че е зле. Към 13:49 се обърках слайдовете, но май пак се разбира нещо.

Мнения?

Често резултатите от изборите не се изчерпват с това кой е избран като депутат или президент. Можем да научим много като сравним избиратели в списъците, гласове за малките партии, избирателна активност, различни региони помежду им и друга статистика. Проблемът при тези сравнения обаче винаги е бил, че обработването и визуализирането на данните е доста трудоемко. Затова често се прави само тогава, когато знаем какво търсим и искаме просто да го облечем в цифри и графики. Така пропускаме неочаквани връзки в данните и от тук тръгна последния ми проект.

Opendata:Elections е интерактивен инструмент, който показва карта на България разделена на общини. Избирайки различни параметри, може да създавате свои формули, резултатът от които ще се покаже на картата. Формулите съдържат прости оператори и се проверява за грешки в реално време. Параметрите могат да бъдат всякакви показатели от последните 6 вота заедно с невалидни бюлетини и преференции. Може да избирате данни за населението според НСИ (като етническа и религиозна структура) и различни бюджетни показатели. Събрах данните от сайта на ЦИК, НСИ и Министерството на финансите. Ще опиша всички параметри в някоя от следващите статии.

Брой избиратели изключени от списъците за ЕП 2013
най-вероятно заради принципа на уседналост

Инструментът позволява да запишете формулата си със свое обяснение и интерпретация. Всяка записана формула има собствен линк и при споделяне, ще се отвори точно на вашето обяснение и графика. Може да отбележите чужди формули като интересни и да ги споделите. Ако не искате да записвате формулата, но искате да я покажете на познати, просто копирайте адреса на страницата. Той се обновява при всяка промяна на параметрите. Може да сменяте също цветовата грама и форматът на цифрите.

Както винаги, данните в този проект са толкова добри, колкото и източниците. Ще откриете, например, че в някои общини има странно много сгрешени или невалидни бюлетини. Подобни грешки при въвеждането на протоколите се забелязват лесно с проста формула. Други данни, несвързани с изборите, са интересни сами по себе си, като например промяната в задлъжнялостта на общините или дялът от бюджета си, който харчат за заплати.

Намаление в процентни пункта на задлъжнялостта
спрямо доходите на общините между 2012 и 2013

В близките седмици ще добавя още данни от НСИ като безработица и сграден фонд. Лесно мога да добавям и още данни от МФ за задлъжнялостта, когато станат налични. Скоро след изборите на 5-ти октомври ще добавя и резултатите от тях. Няма да правя повече промени по страницата и затова тия дни ще отворя кода в Github. Бях решил да я превеждам на английски, но ще е доста работа и не знам дали ще има интерес. Междувременно искам да благодаря на всички в Twitter, които ми помогнаха с тестване и обратна връзка.

Целта на тази карта е да ни помогне да осмислим изборите в България, да оборим клишета и да открием нови връзки. Затова има възможност да се записват обяснения към картите и да се споделя всяко мнение. На вас оставям да покажете тезите си и сухите данни на ЦИК в по-разбираем вид.

Всички видяхме как десетки хиляди полицаи бяха докарани в София, за да респектират протестиращите. Навярно ви е минавал през главата въпросът колко е струвало всичко това на данъкоплатците. Освен транспорта и престоя в столицата, на всички тези хора са изплатени командировъчни и извънредни.

Отговорът би трябвало лесно да се намери на страницата на МВР. Припомням, че от август 2012-та всички институции са задължени да публикуват ежедневни отчети за бюджетните си плащания по причини – заплати, осигуровки, издръжка и прочие. Настрана от принципните проблеми с изискването, дори това, което ни се предоставя е неизползваемо. Причината се крие във формата – всяка институция избира под каква форма да пусне данните. Някои дават таблица, други снимка на екрана си. МВР пуска PDF документи. За да си направите някаква справка, трябва да прегледате 360 документа, да копирате цифра по цифра и с елка да пресмятате. Това е състоянието на прозрачността в държавата ни в момента.

Има обаче добра новина. Хора като мен намират начини да извадят полезната информация скрита къде умишлено, къде от глупост и недоглеждане. Случаят на отчетите на МВР беше особено труден, защото след като прехвърлих данните в текстова форма, те нямаха ясно изразена структура. За човек би било лесно да разбере коя цифра към коя колона принадлежи на снимката горе, но не и за компютър. Също така има разделение със шпация между хилядите (това две колони са или една цифра), разместване на редове, липсващи колони и т.н. След няколко опита през ноември намерих начин и автоматизирах процеса. От тогава насам всеки ден се обновяват данните за плащанията. От голяма помощ беше допълнителната информация за сумите по редове, защото така потвърждавам прочетените цифри. Все пак, около десетина отчета бяха толкова объркани, че се наложи да ги въвеждам на ръка. Целия код на проекта е достъпен в GitHub.

В последните седмици направих и интерактивно табло (dashboard) за данните. На него са показани общите суми преведени по дни и по месеци, причините и дирекциите, които са направили плащанията. Може да се филтрира по тези три показателя чрез графиките и таблиците. При избиране на филтър, адресът на страницата се обновява и може да споделите това, което виждате. Например, може изберете всички заплати изплатени по време на #дансwithme или сравнение на „средства за разпореждане“ на този кабинет спрямо предишния. Над таблиците има бързи линкове за избиране. Повече за графиките и филтрирането ще прочетете на самото табло.

Представени така, данните показват интересни неща. Пример за това са въпросните „средства за разпореждане“. Не открих за какво точно се използват, но видях, че са се увеличили със 160 пъти до 27 млн.лв. Заплатите също са интересни. Има ясни пикове през април, юни и декември (интересно защо). При подслушването има намаление при издръжката, макар и малко като сума, но сериозно покачване при заплатите през декември 2013. Всъщност това важи за всички дирекции. Около 70% от парите за МВР отиват за заплати и възнаграждения. Едва 18.6% са за издръжка. Припомням, че сме на едно от първите места в Европа по брой полицаи на глава от населението. Това има ясни измерения в разходите на най-скъпото ни ведомство.

Плащанията по месеци като изключим
заплати, стипендии и осигуровки

Разбира се, всички данни идват с условности. Качеството на тези зависят на първо място от коректността на министерството, която доколкото разбрах не се следи от МС въпреки поетия ангажимент. На второ място, възможно е да има грешки при автоматичната обработка. Най-вече обаче е важно как интерпретираме данните. Ще забележите, че има доста отрицателни преводи. Те са в категория „Служебни операции в БНБ“ и предполагам, че се отнасят до суми връщани в държавния бюджет. Министерството също присъства в списъка, но преводите са почти нулирани – когато има превод от няколко милиона, те са връщани ден по-късно. Няма обяснение за тези странни плащания и навярно само касиерите могат да отговорят.

Важно е да отбележим, че тези суми се отнасят до парите, които министерството е превеждало на дирекциите си през системата СЕБРА. Не включват прословутите дарения от фирми. Не става ясно и каква част от компенсациите са заплати, бонуси, за извънреден труд или обезщетения. Притеснително е, че от началото на 2013-та МВР е спряло да внася осигуровки, но и това може да има някакво обяснение.

Нещо, което бързо ще научите, когато се заровите в данните, е че те не дават отговори, а нови въпроси, за които не сме се замисляли. Ако данните и интерпретацията им е вярна, въпросите са полезни и могат да осветят неприятни истини или да разбият заблуди. Всичко останало са спекулации.

Не обаче и ако става въпрос за Държавна агенция „Архиви“. Там може да намерите архивите на Политбюрото, полицейските досиета от преди ’44, имената на загиналите през Балканските войни и документи от еврейската общност. Работата е, че може да ги откриете само, ако отворите сайта archives.bg. Ако ги отворите през Google или споделена връзка (както тази в предишното изречение), ще видите грешка „403 Забранено“. Това на прост език означава, че на ДАА са забранили някой да споделя каквото и да е от сайта.

Страница отворена през линк и директно през сайта им.

Разбира се, след като видите въпросната грешка, може да презаредите страницата и тя ще се отвори нормално. Така се изчиства състоянието, че сте препратени от друг сайт и ДАА не ви блокира. Стандартната реакция на всеки обаче е да затвори прозореца, тъй като явно става дума за сгрешен линк. Всичко това може, разбира се, да е техническа грешка. Не се сещам обаче за ситуация, в която да се е случило. Освен може би, ако са искали да блокират някой конкретно, а са блокирали всички. (Погледнете и тезата на Михаил в коментарите) Навярно нямаме и основание да спекулираме, че има общо със смяната на шефа на агенцията с човек от МВР.

Открих този проблем с добавката за WP за търсене на счупени линкове. Потвърдих, че не са блокирали само мен като отворих линкове от чужди сайтове. Имам проблеми да заредя страниците и през автоматичните ми скриптове за теглене на информация.

Още по темата:

Възпоменание в Twitter на загиналите през Балканските войни
Отворени данни за загиналите войници през Балканските войни
Отворени данни за сътрудниците на Държавна сигурност

В четвъртък в Лондон започва годишната среща на Open Government Partnership, за който писах доста до сега. България се включи в партньорството декларирайки редица цели в отваряне на данни и процедури в администрацията. На срещата трябва да представим доклад за напредъка си.

Напредък?!

През юни 2012-та излезе общ план в 33 точки за различни мерки за прозрачност. Точно тя бяха изпратени на OGP като официални цели. Очакваше се да последва стратегия с конкретни мерки по ресори, но доколкото ми е известно това не стана. От идеите само по една беше направена нещо – всяка бюджетна институция да пуска ежедневно справка с бюджетните си плащания. Тези справки обаче са практически неизползваеми – не са в отворен формат; пръснати са из сайтовете на ведомствата; не съдържат данни за отделни плащания, а за общи суми по направление; липсва документация за качеството, отговорните лица и прочие. Няма никаква техническа пречка всички тези проблеми да бъдат оправени от администраторите на финансовото министерство. Трябва само да бъде спусната заповед с точни инструкции от МС.

Знам, че са били водени разговори през последната година и половина за изготвяне на opendata портал. Продукт на Microsoft е бил дискутиран. Моето предложение все още е CKAN, който се използва от много подобни национални портали. В специалната страница за OGP в Strategy.bg няма нищо ново от март 2012-та. В началото на 2013-та беше създаден Обществен съвет „Прозрачност“ към транспортното министерство. В него се обсъждаха различни идеи и технологии. През юни излезе linked data търсачка за документите на Министерски съвет, която е дело на Пейо Попов. Към Egov.bg има и страница за оперативна съвместимост с регистър към различни данни. Изглежда обаче е попълнен само с тестова информация.

Още стратегии

След изборите ми писаха от дирекция в МС, която явно се занимава специално с отворени данни. Тогава им изпратих всичко, което съм изготвил като технически спецификации, предложения, примери, доклади и прочие. Знам, че изготвят стратегия за отворени данни, но не съм я видял до сега. Единствено на 9-ти август излезе решение на Съвета за административната реформа за въвеждане на opendata и директива 2013/37/ЕС (повторно използване на публична информация). Изготвянето на стратегия, както сме видели многократно до сега, само по себе си нищо не означава. Надеждата ми е обаче, че законодателните промени около директивата ще се случат по-скоро. Дай боже и да се изготви технически изисквания за публичните данни – нещо, за което говорим от години.

Стратегията на тази дирекция, доколкото разбирам, ще пренапише целите от юни 2012-та. По последните на практика няма движение нито от миналия, нито от сегашния кабинет. Затова ми е много интересно какво ще бъде съобщено в края на седмицата. Попитах няколко пъти, но не получих отговори дали ще имаме представител и какво би представил в Лондон.

Open Data Преброяване

Междувременно излезе един вид индекс на отворените данни изготвен от OKFN. Интересна статия за него ще намерите в Economist. България има сравнително добър резултат, но това далеч не е заради усилията на публичната администрация. С Пейо се постарахме да изровим колкото се може за България, за да покажем, че нещо се случва въобще. Повечето данни съществуват всъщност заради манията в последното десетилетие да правим регистри за всичко. Проблемът обаче е, че при липсата на единни стандарти, всеки регистър или публична информация се качва според както му хрумне на клетия чиновник натоварен със задачата. Така се стига до комични ситуации като снимка на екран с таблица. По този критерий се проваляме драстично – има ги данните, но не са използваеми. Проваляме се и с данните за фирмите – тези от търговския регистър се заплащат против всякаква бизнес и държавническа логика.

Още по темата за отворени данни може да прочие ще намерите в предишните ми статии. Погледнете и някои от проектите ми за отваряне на данни и визуализирането им. Ще продължа да пускам новини за OGP в Twitter.

Карта от The Guardian на най-добре справящите се с opendata страни

Вчера излезе статия в NYT, според която 4 от 10-те най-замърсени градове в Европа са в България. Статията цитира изследване на Европейската агенция за околна среда обобщаващо измервания направени между 2002 и 2011. Самото изследване не предизвика такъв отзвук в родните медии, колкото гръмкото заглавие на NYT. Добре е обаче да се загледаме по-добре в данните, за да намерим причините.

По случайност няколко дни преди излизането на доклада започнах да разглеждам индустриалното замърсяване. Тук не включвам праха (виж допълнението) или емисиите от коли и човешка дейност, за които се говори в доклада. В България, както във всяка друга европейска държава, има доста добър регистър за всички предприятия изхвърлящи емисии и боравещи с отпадъци. Има подобни данни по години кой какво къде и колко е изхвърлял. Разбира се, данните не могат да се получат наведнъж в удобен формат (що да може) и затова написах скрипт да ги сваля. Допълнителни връзки ще намерите по-долу.

Вчера пуснах официално и интерактивна визуализация показваща взаимовръзките. На страницата ще видите карта с няколко графики. На картата са показани всички замърсяващи инсталации. Виждат се като точки с примерен радиус на въздействие, а при по-голямо увеличение – като маркери на картата. Другите графики показват промяната на изхвърлените количества през годините, колко е изхвърлено като процент във въздуха, водата и почвата, какъв процент от инсталациите измерват, изчисляват или преценят какви са емисиите им. Двете таблици показват съответно вида химикали и 10-те най-замърсяващи инсталации заедно с количествата. Всяка таблица показва тенденция на покачване или намаляване, а като спрете с мишката върху въпросния ред ще видите повече подробности в проценти.

Всички графики са свързани една с друга и позволяват филтриране на данните. Ако увеличите картата до даден регион, на другите графики и таблици ще се покажат данни само за инсталации попадащи в него. Аналогично, ако изберете от втората кръгова графика „Въздух“, ще се покажат само инсталации, химикали и количества изхвърляни във въздуха. В таблиците може да избирате един или повече елемента като ги натискате един след друг. Ако натиснете на групата, ще изберете всички елементи от нея. Над таблиците и над графиката има бързи линкове за отделни филтри и изчистване на всички ограничения.

Направих графиката с идеята да можем по-лесно да видим кой как замърсява околната среда в различни региони на страната. Разбира се, замърсяването не може да бъде избегнато, защото е неразделна част от индустрията. Може обаче да бъде намалено до минимум или да се въведат процеси с по-малко отпадъци. Важно е да се разбере, че данните, за които говоря, покриват само индустриалното замърсяване. Големият проблем, който евро-докладът посочва, е прахът (виж допълнението). Той може да бъде решен чрез устойчиво озеленяване в градовете, стриктно спазване на ограниченията при строеж, намаляване на използването на коли и редовно почистване на улици и тротоари. Във връзка с устойчивото озеленяване има интересни инициативи за „осиновяване“ на градинки. Повече за това обаче друг път.

Данните от регистъра може да свалите като CSV/Excel таблици на тази страница. Там ще намерите и цялата SQL база данни. Кодът на страницата е в Github. Данните за цяла Европа може да намерите в RDF формат на страницата на E-PRTR. Включват и тези за България, но само до 2011-та. Затова отворих нашия регистър, а ми трябваха в по-прост формат. Ще намерите и доста подробен документ на български език описваш данните в регистъра и методологията на събиране.

Допълнение 19 октомври

Разглеждайки по-подробно данните открих, че всъщност са включвани праховите частици (PM10). На графиката се вижда че средно за страната прахът изхвърлен от индустрията е намалял сериозно – през 2012-та вече е 1/3 от количествата през 2009-та. При инсталациите край София и Перник разликата е още по-драстична – 30 пъти. Аналогична тенденция виждаме при много други замърсители.

Направих някои промени в графиката, които са вече публични от снощи. Първата е, че в лявата таблица не се показват вече площадките, а управляващите компании. Втората е, че добавих бързи линкове с филтри. Те позволяват да се фокусира картата на даден регион и автоматично да се избират определени замърсители или параметри, за да се покаже определен аспект от данните. Например – праховото замърсяване около Перник и София. Третата промяна е, че когато сменяте параметрите на графиката, фолтърът се запазва в адреса отгоре. Така може да го споделите, както направих с предишния линк. Когато някой го отвори, ще види това, което вие сте гледали като филтрирани данни. Още един пример – всички компании, които пренасят опасни отпадъци в и извън страната.

Във вторник на пресконференция директорът на „Координация и информационно-аналитична дейност“ Николай Крушков е представил интерактивна карта на престъпността изготвена от МВР. Тук съм пуснал няколко снимки от презентацията му. Ако сте чели блога ми до сега ще разберете защо първата ми работа беше да намеря сайта и да видя как може да се извадят данните. За жалост не е публичен, но за това по-нататък.

Новият инструмент на МВР позволява анализ по време и местоположение на всички престъпления. Сега работи с оперативни данни от реални престъпления от тази година и се обновява всеки месец. Интересно ми е дали може да се направи ежедневно – още при въвеждане на докада в системата. Не става ясно дали има категоризация по типове престъпление (обир, побой и т.н.), но е логично да са го предвидили.

По снимките бих казал, че графично системата изглежда добре. Има heatmap на случаите, както и разпределение по квартали и региони – нещо, което мен ме интересува най-много. От презентацията става ясно, че може да се открие концентрация на престъпления от даден тип. Според целите им, така ще планират разследванията и патрулите по-добре.

Разбира се, ползите от разбор на данните за престъпността са известни отдавна. Това, в което всички се съмнявахме беше, че МВР въобще прави такъв анализ. С този инструмент ще е доста по-лесно. Въпросът обаче е дали някаква част от него ще е публична. Зададох този въпрос и чакам отговор. Не очаквам, разбира се, целия инструмент да бъде публичен заради достъпа до оперативните данни. На снимките се вижда доста точно местоположението на отделни случаи, а вероятно може да се видят и други подробности.

Все пак може да получим суровата информация. Това е нещо, което много градове и държави по света вече са направили и позволява журналисти и научни работници да ги анализират. Именно заради тази липса направих Crime.bg, но проекта беше неуспешен. За това обаче ще пиша друг път. МВР не може, разбира се, да ни предостави всичко заради защитата на личните данни на засегнатите. Има обаче начини да пусне информация в отворен формат, която да е достатъчно защитена и в същото време полезна.

За целта се скрива определена информация и се намалява точността на друга. Може, например, да получим CSV (или Excel) с по един запис за всяко престъпление в страната. Записа ще има няколко колони – уникален номер, категоризация на типа престъпление, географски координати записани с точност от няколко стотин метра, дата и час на престъплението или период, в който се е случил. Това ще е доста добро начало. Няма да може да се определи точния адрес заради приблизителните координати. Към всеки случай може да се добавя по-късно и в каква фаза е разследването.

Доста приятна карта на престъпността в щатите

Първата пряка полза от публичността е, че потърпевшите могат сами да проверяват дали сигналът им е бил отразен в системата на полицията. Тук говорим за доверие, което липсва у нас. За съжаление, много хора вярват, че полицията крие истинските измерения на престъпността, че не разследва случаите и затова не виждат смисъл да съобщават кражби и побоища. Основната полза обаче е анализа на съвкупност от престъпления. Ще се идентифицират региони с висока престъпност и това ще помогне при избор на жилища. Ще се вижда ефективността на акции и конкретни арести на полицията, смени в ръководството на РПУ-та, осветяване на паркове и нови жилищни комплекси. Най-важното обаче е, че данните ще могат да се комбинират с други и да се използват по неподозирани начини. За сравнение, сега получаваме обща статистика потребна единствено за гръмки заглавия в медиите без особена мисъл зад тях. Същият ефект би имало да нахвърлим случайни цифри на една таблица – не може да се провери и пак ще се цитира дословно от журналистите.

Създаването на инструмент като този, който МВР показа, не е трудно. Трудно е да се осъзнае нуждата от такъв, както и да се осмисли информацията. Затова – браво на МВР за визията. Надявам се обаче, че все пак ще пуснат данните, за които говоря, в отворен формат. Видимо ги имат събрани и е въпрос на проста справка, за да се пуснат в мрежата. Всъщност това е информация, за която вече сме си платили и е публична собственост. Повечето институции обаче се притесняват от такава прозрачност заради криворазбрано чувство за собственост и нужда от контрол над всякаква информация.

Презентацията на МВР ще намерите на страницата на пресцентъра им. Ето примерни карти с подробно описание на всяко престъпление от Аризона, LA и Лондон.

Още статии по темата:

Електронно управление с чиновнически дъх
7 ноември 2012

За личните данни на безследно изчезналите
19 октомври 2010

Катастрофите в София
9 септември 2012

Безследно изчезналите на България
12 юни 2010

През изминалата година и половина на няколко пъти се свързах с тези, които поддържат регистъра. Писах за множеството проблеми с данните в него и го дадох на няколко места като анти-пример за отворено управление. Дори като изключим това, че ме блокираха няколко пъти и въведоха captcha, за да не може да се свалят „публичните данни“, отрано се оказа, че самото въвеждане на информация от болниците е непълно. Разбираемо е да има няколко дни забавяне, какъвто толеранс са въвели в инструкциите, но на места явно срокът доста по-голям. Успявах обаче да обновявам данните и да поддържам графиките.

Натиснете графиката за по-голям размерКалендар по седмици показващ дните, в които е имало повече или по-малко раждания от средното за годината. Месеците са заградени в черна рамка.

Наскоро реших да анализирам данните за 2012-та и да ги сравня с тези на НСИ. Останах стъписан – в някои региони има разлики от порядъка на два пъти. По-притеснително е, че 8.31% от ражданията регистрирани от НСИ не са отразени в регистъра на ражданията на МЗ. Това са 5787 деца.

Неточности и неясноти

Тезата ми за тях е, че регистъра на МЗ отразява само родените в болниците докато НСИ – всички регистрирани в ГРАО. Така разликата вероятно идва от децата родени в чужбина и получили автоматично гражданство. Докато за 2012-та ражданията в България излизат около 95 на 10000 души, то според горните цифри в чужбина има 57 родени на 10000 (приемайки условно 1 милион зад граница). Не успях обаче да потвърдя тази теза.

Натиснете графиката за по-голям размерДеца родени извън областта в %

След разговор с НСИ обаче разбрах защо има такива големи разминавания при областите. НСИ взима информация от ГРАО и записва ражданията по адресна регистрация на родителите. Така, ако едно дете е родено в София, но родителите му имат постоянен адрес в Благоевград, НСИ ще сметне раждането в Благоевград, а МЗ (евентуално) в София. На горната графика се вижда това разминаване. В зелено са областите, където са родени много деца с адреси в други области. В червено са областите, където родилките са предпочели да отидат другаде. Разбираемо жените от София-област раждат предимно в София. Интересното е, че същото важи за Ямбол, които раждат в Сливен. На графиката по-долу виждате къде са родени най-много деца за 2012-та спрямо населението между 20 и 59 години.

За жалост, тези данни не са точни заради проблемите с регистъра на МЗ. Попитах и тях за тези разминавания и за методологията им. Когато ми отговориха (най-накрая и не много охотно) се оказа, че въвеждането на информация не се проверява. Разчита се на коректността на болниците без те да имат реален стимул. Това обяснява защо откривам 2% разлика между данните, които съм зареждал в течение на 2012-та и тези, които виждаме сега – няколко месеца по-късно. В Габрово, например, са пропуснали да въведат 15% от ражданията си навреме.

Натиснете графиката за по-голям размерБрой раждания на всеки 10000 души

Разбира се, това че някакъв си списък в мрежата не е точен говори единствено за лоша организация в Министерството на здравеопазването – нещо, което знаем така или иначе. Публичната таблица не показва много, но регистърът може да е доста полезен. Първоначалната му цел е била да се използва за анализ на проблемите в болниците и при ражданията. Разминаванията, които виждам, говорят, че това е невъзможно предвид некачествените данни.

Модел на поведение в администрацията

Ще попитате какво пък такова значение има един регистър. Вероятно не чак толкова голямо, макар за него и сега да се харчат пари и стотици човекочаса за поддръжка и въвеждане. Този модел на работа обаче е типичен за всеки регистър, на който съм попадал в администрацията ни. И това, и предишните правителства говорят за отчетност и прозрачност. Истината е, че ако нахвърлим случайни цифри на Excel таблица и я пуснем в мрежата резултатът ще е далеч по-добър – анализите ще са също толкова точни, но поне няма да се харчат милиони за неизползвани правилно и принципно неизползваеми системи. Липсва стратегия за публичност на информацията, описание на методологията, стандарти за публикуване, поддържани и съвместимост на данните.

Ще завърша с част от разговора ми с Валери Борисов през юли 2010-та – тогава шеф на дирекция „Електронно управление“.

…
Както знаете, постоянно се пускат обществени поръчки и се създават вътрешно софтуерни системи, изискванията за които се изготвят от чиновници и поддържащ персонал без съгласуваност. Макар понякога изискванията към новите сайтове и услуги да съвпадат със стратегията, която представяте, често това не е случая. Такъв пример е поръчката за новият сайт на НС.
…
В този смисъл, ако има централно ръководство с препоръчителни изисквания, стандарти, формати и структура на данните, ще се постигнат три цели. Първо, тези, които изготвят поръчките ще имат на разположение рамка, върху която да работят. Второ, при създаването на сайтовете, много от отворените данни ще са на разположение дори преди началото на изпълнение на стратегията за ЕУ. Това ще е от полза както на бизнеса и хората, така и на самата стратегия за ЕУ, защото ще осигури пазар за продукта, който ЕУ предоставя и ще елиминира няколко то рисковите фактори споменати в края на плана. И не на последно място – когато проектите по ЕУ започнат, интеграцията на старите системи на различните институции ще е много по-лесно, заради това, че са изготвени по подобни стандарти и изисквания.
…

Същите неща повтарям от доста време и малко се е променило. През 2012-та несъвместимостта на системите беше основното извинение за липсата на напредък в eGov от страна на кабинета. Очаквам и следващите да го повтарят, докато в същото време парадират с прозрачността си.

Допълнителна информация

Сравнение на статистиката за ражданията – OpenOffice и Excel
Регистъра на ражданията на МЗ
Данни за ражданията на НСИ
Малко графики за смъртността и причините за нея в България

Доста обмислях как да визуализирам цялата тази информация. Проблемът е, че става дума за огромен масив от данни, който расте постоянно. За по-малко от три седмици са се събрали 430000 точки (data points). Имам още 380000 точки от исторически данни за износ и внос през последните 6 години. Като файл са по-малко от 5Mb, но никой browser не може да се справи със задачата. На този етап съм се отказал и оставям двете временни графики – данните за трансграничния пренос и за производството в страната. Втората показва потреблението, производството и баланса за последните 6 часа и седмица.

Кликнете на графиките за по-голям размер.Енергийния микс от последните 17 дни

Внос и износ на ток от 21ви април до 1ви май

Исках да направя по-интуитивни интерактивни инструменти, но не намерих начин. Горе виждате два от експериментите, които няма да видят бял свят. Ще ми се да направя страница с 3-4 графики показващи миска в реално време и как той се отразява на крайната цена. Тоест как решенията на ЕСО минута по минута влияят на цената на тока, който плаща крайния потребител. За целта обаче ми трябват точните изкупни цени на всеки източник на енергия. Самите те обаче се променят динамично. Към тях трябва да добавим и преносните такси на НЕК и ЕРП-тата. Не успях да ги събера в таблица въпреки помощта на доста хора от Twitter и Facebook. Фактът, че сайта на ДКЕВР не работи от седмици също не помага.

Графиките, които съм пуснал, позволяват да се видят определени събития в работата на енергийната ни система. Например, колко се намалява натоварването на Козлодуй, колко произвеждат фотоволтиците и как ВЕЦ-овете регулират баланса в системата. На базата на тези наблюдения си позволих да пусна няколко коментара във Facebook за странни сигнали в данните. Пример за това беше удвояването на производството от ФвЕЦ-ове в 12:50 днес и повишаването на потреблението с 350Mw в абсолютно същата минута. Offnews писаха също за това. Стори ми се странно, но коментарите под статуса ми бързо дадоха обяснение за случая.

Потреблението и производството на ток в последните 17 дни

Важно уточнение е, че зад данните, които виждаме в ЕСО, има една много сложна енергийна система. Нямам илюзии, че я разбирам и затова съм предоставил отворени данни на всеки, който би желал да ги анализира. Те, както и графиките, могат да дадат насоки къде да търсим, а не директни изводи за проблеми и измами. Това важи за всички подобни данни. Аналогична е ситуацията с интерактивната графика за производството от възобновяеми източници, която пуснах преди референдума преди няколко месеца. За нея писах по-подробно в този блог.

Надявам се, че ще помогнат на тези с познания в сферата да обяснят реалността с нагледни примери. Моята задача е да отварям данни и докато имам време и нерви ще го правя. Затова е важно и журналистите у нас да се запознаят с това как да работят с данни и колко важен източник на информация са те. Има вече такъв интерес в различни организации у нас и има достатъчно специалисти, които биха искали да се занимават с това. Повече за отворените данни може да прочетете в предишните ми статии по темата, в блога на OKFN, блога на Пейо и в страницата ми с отворени данни.

Замислете се – колко пъти сте подписвали договор в банка, мобилен оператор или поредната гражданска кампания. Данните са ни навсякъде из фирми и НПО-та. Затова бях сред тези, който приветстват новината, че ще можем да проверяваме в ГРАО дали някой е злоупотребил с личните ни данни що се отнася до изборните списъци. Убеден съм, че не може 1 милион души да са се подписали и исках тази порочна практика да се осветли.

Тази мярка на прозрачност би била прекрасен и ефективен пример за борба с корупцията и злоупотребите, ако обаче нямаше ситен шрифт. След наплива от мейли към ЦИК, МРРБ излезе с инструкции как се подават такива заявления. Искат трите имена, ЕГН, номер на лична карта, адрес за кореспонденция и изрично се декларира от лицето съгласие за обработката на личните му данни. Може да се подават или с писмо до министерството, или по мейл, но само с електронен подпис. Замислете се, колко българи имат личен електронен подпис. Тази мярка е безсмислена предвид, че на сайта на ГРАО може само с ЕГН да проверим къде трябва да гласуваме, а на при НАП – колко дължим за здравни. Да не говорим, че мейлът посочен за подаване на заявления не работи. Малка подробност, но важна.

Въпросът е, защо са решили да направят така процедурата, че да е практически невъзможно да се използва. Вероятно нямат ресурс да отговорят на наплива от усъмнили се в честността на родните партии. Вероятно никой не се е сетил за по-удобен начин. Не мога отговорно да твърдя, че има зла умисъл в блокирането на иначе добра идея за прозрачност, но това определено е модел, който виждаме във всяка сфера на администрацията. Законът за личните данни се използва само тогава, когато не искат да ни дадат нещо. Типичен пример бяха бонусите на висшите чиновници. Преди време МВР твърдеше, че не могат да ми дадат удобен списък с имената на обявените в бюлетина им безследно изчезнали, защото това били лични данни.

Вчера комисар Нели Круз приветства одобрението на правилата за отворени данни в общността. Отбеляза как това ще донесе нови бизнес възможности и по-добра администрация. До няколко седмици очакваме евро-парламента да ги гласува. След това ще бъдат ратифицирани и въведени от всяка членка. Къде е България в това отношение? Много пъти в този блог, по различни конференции и интервюта съм хвалил определени аспекти от работата на кабинета и съм отбелязвал как да се оправят други.

Истината е, че прозрачността у нас е матова, както писах преди. Обявява се нещо интересно и полезно и се разхвърля из сложен бюрократичен лабиринт в неизползваем вид. Въпреки ЗДОИ, въпреки ратификацията на куп резолюции, въпреки политическите заявки за прозрачност и участието в Open Government Partnership бих казал направо, че в България достъпни данни от обществени институции няма. Нито един масив от данни, нито един файл, който мога да нарека отворен. Каквито и положителни примери да има, то те са „освободени“ и изчистени от opendata ентусиасти. Това е.

Пиша всичко това, защото казусът с партийните подписки е емблематичен за начина на мислене в администрацията що се отнася до прозрачността. Преди малко повече от година имах разговор в Министерски Съвет и посочих, че най-важно ще е чиновниците взимащи ежедневни решения като горното да разберат за какъв хал се прави всичко това. Същото написах през 2010-та на тогавашния шеф на дирекция електронно управление Валери Борисов. Виждаме ефекта от липсата на мерки.

Говорил съм много защо отворените данни са важни и то в оригиналния си суров вид. Искам да отбележа два разговора, които илюстрират на разбираем език защо това е така.

Първият е една стара лекция от TED Talks, на която попаднах наскоро. Говори се за „математиката на войната“. Накратко – анализирали са данни за броя атаки, мястото и жервите на всяка тях по времето на различни конфликти в последните години. В лекцията се разглежда Афганистан, Иран и Сиера Леон. Данните, за жалост, не са взети от военните, а са събрани от съобщения в медиите. Аз правя нещо подобно за Lipsva.com.

Това, което са открили, са интересни математически зависимости в хода на войната. Станало е ясно, че само с броя атаки и разпределението на загиналите могат да научат доста за фрагментацията и целенасочеността на месните военни групировки и ефективността на кампаниите на ООН и американците през времето. Това са неподозирани ползи от иначе прост масив от данни.

Виж в YouTube.

Представете си сега, че приложим на подобен анализ данните за престъпленията, катастрофите или размера на администрацията. За катастрофите в София вече съм направил проект, който до сега е събрал значителна база данни. Ще се опитам скоро да разширя графиките и да направя изводи от тях. За администрацията – снощи пуснах заявление за достъп до информация, за да получа точно онези оригинални данни, за важността на които говоря горе. Има ги, публични са и смисълът на закона диктува, че трябва да имаме достъп до тях.

Други примери в тази насока ще видите и в този семинар за отворени данни в Betahaus, в които участва Пейо, Иван Бедров, Нели Огнянова и Антоанета Цонева.

Виж в YouTube.

През октомври миналата година пуснах свободно данните за загиналите в Балканските войни. Идеята ми беше да поставя на картата на полуострова родните и лобните места на 47657 български войни загубили живота си през 1912-1913 година. Така ще проследим пътя им до смъртта, движението на ротите, къде има най-големи загуби, от къде са войниците в определена рота, къде са родени жертвите от дадена битка. Бихме могли да проследим всичко с удобен интерактивен инструмент. Не ми остана време обаче да събера географските координати на всички 8000 места. Около 3000 от тях са вписани със старите си имена или не се намират.

Вчера обаче ме осени още една идея. Един познат отбеляза със статус във Facebook 100 години превземането на Одрин на 13 март 1913 (26 март по стар стил). На този ден са загинали 940 души. На предишния ден – 1028. Това е просто статистика, но някак ме накара да се замисля за измеренията на жертвата, която е дал народа ни преди толкова време.

Затова днес написах един кратък скрипт. Всеки ден в 15:00 ще пуска съобщение в Twitter с броя загинали на тази дата преди 100 години. Всички tweet-ове ще са с таг #БалканскитеВойни. В някои дни връзката в tweet-а ще сочи към страницата на Държавна агенция „Архиви“, от където взех данните, а в други – към отворените данни на моя сайт. Географските координати на тези tweet-ове ще водят към Националния военноисторически музей в София.

Натиснете снимките за по-голяма графика

Макар интерактивния инструмент споменат горе да не е готов, извадих две предварителни графики от данните. Натиснете снимките горе, за да ги видите в по-голям размер. Тази вляво ще ви покаже и колко ще са жертвите споменати в бъдещите tweet-ове. В този панел може да следите съобщенията:

Tweets за „#БалканскитеВойни“

В последния си доклад Програма Достъп до Информация посочва, че почти 70% от заявленията за данни са удовлетворени от институциите. Това не е чак толкова ниско, но аз съм на мнение, че този механизъм на публичност се използва твърде малко. Причините са две. Първо, хората си мислят, че няма смисъл да питат и за жалост твърде често са прави. И в местната, и в държавната администрация винаги е имало хора, които не искат да излязат на светло. Второ, за да получим какъвто и да е отговор, трябва да задаваме тясно специализирани въпроси. Така много ценна информация остава скрита.

От утре друг е на кормилото. Както писах в последната си статия, прозрачността беше посочена като основна цел на служебния кабинет и има индикации, че наистина ще се постараят. Чиновниците надолу по веригата са си същите, но министрите отгоре може да натискат да се отговаря на заявления. Надеждите на всички са, че служебните министри са независими от партии и политика. Може да го проверим.

Нека обаче не задаваме конкретни и тясно специализирани въпроси. Да не питаме и глупости като „Кои са престъпниците в България?“. Никой не може да отговори на това. Не трябва да забравяме и че има доста информация, която представлява лични данни или оперативни документи. Нека не искаме прости отговори, а цели бази данни или подробни справки. При това в лесен за обработка и достъпен вид. Така ще можем сами да ги анализираме. Има куп публични регистри, които са почти неизвестни, защото сайтовете им са неизползваеми.

Затова ви питам:

Какво искате да знаете?
Какви графики и карти искате да видите?
Как да комбинираме регистрите на министерства?

Информацията сама по себе си е трудна за преглеждане, ако не я визуализираме. Затова можем да направим интерактивни инструменти като тези, за които писах тук и в twitter:

Ако имате такава идея за нещо интересно и полезно, моля пишете в коментарите. Ще ги обсъдим, ще изпратим заявления, а получените данни ще бъдат отворени. Знам, че всичко това може да ви се струва твърде оптимистично, ако нищо не пречи да опитаме и сега точно е моментът.

Наскоро открих един много удобен инструмент за правене на инфографики – Infogr.am. Не е толкова мощен, колкото ми се иска, но за по-прости неща става. За останалото използвам библиотеките Crossfilter.js и Leaflet, както ще видите на страницата ми за отворени данни. Интересното е, че при Infogr.am графиките са интерактивни до някаква степен, което позволява показването на значителни масиви от данни.

Първата графика, която публикувах, показва данни за арестите на българи в Лондон. Информацията идва от доклад на полицията там предоставен след искане за достъп до информация от Fullfact.org. Данните показват броя арести, а не този на арестуваните хора или престъпленията. Това е важно уточнение, защото напълно възможно е малка група от хора да са арестувани по много пъти, a i доста престъпления да остават неразкрити. Не се уточнява какво попада в „други нарушения“ – възможно да включват и преспиване в парка.

Интересно ще бъде да се направи карта с честотата арести по държави и отнесено към броят емигранти. Предупредиха ме обаче, че този доклад има специален лиценз, който забранява използването на данните като масив. Това е доста странно, тъй като на практика затваря информацията.

Тук ще видите инфографиката, която все пак подготвих с малка част от доклада. Може да погледнете интерактивната версия тук.

Въпросът дали да се строи АЕЦ Белене е наистина изключително сложен. Има икономически, финансови, екологически, технологични и геополитически аспекти. Аз също съм на мнение, че с така зададения на референдума въпрос, вотът в неделя е на практика безсмислен. Но тъй като така или иначе ще гласуваме, нека поне общите въпроси да бъдат ясни. Затова направих и въпросник, който на изясни как ще повлияе гласът ДА и НЕ в неделя. Разбира се, той не покрива всички аспекти, а само общи заблуди – че гласуваме за затварянето на Козлодуй, че с бойкот ще се спре референдума и прочие.

До този момент 1264 души са попълнили въпросника. 57% искат да използваме Козлодуй, но да инвестираме основно във възобновяеми източници. 9% искат да спрем реакторите веднага, а 26% да строим още такива. 37% смятат, че решението за Белене е експертно. 38% са твърдо против. 81% заявяват, че ще формират мнението си сами, а не според политическите си пристрастия. На базата на отговорите, 68% ще гласуват против изграждането на нова централа, 29% – с ДА, а 3% все още не са решили.

Паралелно с това, искам да стане ясно в цифри колко ток реално произвеждат Козлодуй и ВЕИ-тата. Затова наскоро пуснах интерактивна графика показваща данни за енергията от възобновяеми източници в България. Данните са от 2012 и липсва малка част от информацията за ноември и декември. На графиката може да избирате типове ВЕИ-та, година на създаване, мощност, период, в който е продаван ток, разпределително дружество, което е изкупувало тока и отделна централа.

С тези данни може да видим няколко интересни тенденции. Само през 2012-та са били създадени и включени в мрежата 900MW ВЕИ-та. Повечето са били соларни, следвани от вятърни и микровецове. За сравнение, всеки от блоковете на Козлодуй и планираните блокове на Белене е по 1000MW. Важното тук обаче е ефективността. Данните сочат, че ВЕИ-та у нас са работили със средно около 20% ефективност през миналата година. Това е произведеният ток спрямо теоретичния максимум (мощност * 24 часа * 365 дни). Разпределението по видове е както следва: микро ВЕЦ-ове – 35%, ВЕЦ-ове 27%, ветрени – 15%, соларни 17%. И тук обаче не всички са равни – соларните паркове над 5MW имат ефективност над 23%. Същото важи и за ветрените паркове – над 2MW скача на 21%. Забелязва се и по-висока ефективност при по-новите мощности спрямо тези построени преди няколко години.

За да имат смисъл тези показатели, трябва да ги сравним с ефективността на АЕЦ-а. Козлодуй има два блока по 1000MW и за 2012-та те са работили средно с малко над 90% ефективност. Това означава, че за всеки MW инсталирана мощност, ВЕИ-тата са произвеждали 4-4.5 пъти по-малко енергия. Това е полезна информация, защото научаваме, че ни трябват 8-9000MW, за да заместим АЕЦ Белене. Тази цифра въобще не е невероятна – само за последните 3 години са построени 2000MW и то изцяло с частни средства. Тенденцията е към ускоряване на инвестициите в тази сфера, което значи, че до 5 години може да имаме същата ефективна мощност във ВЕИ, както планираната за Белене. Напомням, че строежът на една ядрена централа отнема около 10-15 години.

Цената, разбира се, също е важна. Колко ще струва новият АЕЦ е доста спорна тема. Чухме оценки за 4, 6.5, 10 и дори 22 милиарда. Ако сравним с други реактори от този тип, първоначалната инвестиция излиза грубо около 3000 хиляди евро на kW мощност. Аналогично, цената на kW при фотоволтиците и ветрените генератори е в доста широк спектър. От това, което намерих, сега е около 1500-2000 евро на kW за соларните и 1000-1500 – за ветрените. Разбира се, разходите падат рязко при по-големите ВЕИ централи. Също така, в последните години с подобряването на технологията, увеличаване на търсенето и конкуренцията, цената и на последните две пада сериозно.

От всичко това може да си направим извода, че в най-лошия случай ни трябва двойно повече първоначална инвестиция във ВЕИ-та, за да получим същата енергия, както от един нов АЕЦ. Ако обаче сметнем неизменното оскъпяване на големи продължителни проекти като Белене и падащата цена на ВЕИ техниката, тази разлика може да се стопи до 50%. Важното в случая обаче е друго – дори да приемем, че и двете имат аналогични разходи за поддръжка, при АЕЦ-а се плаща много за гориво и безопасното му съхранение след обработка. Освен допълнителните разходи, то създава екологични проблеми и икономическа зависимост от други страни. ВЕИ-тата по този показател печелят убедително, защото нямат разходи за гориво и са напълно независими от международната обстановка.

Важно е също така, че ВЕИ мощностите се строят изключително бързо и не са концентрирани в един регион. Това означава, както по-голяма сигурност за енергийната мрежа при бедствия и атаки, така и много по-голяма гъвкавост при промяна на пазара. Виждаме, че с частни инвестиции могат да се изгради добър заместител на централа като Белене. С покачването на потреблението и търсенето на ток от други страни, самият пазар ще предразположи да се инвестира във ВЕИ мощности. Така няма да си задаваме въпроса дали след 30 години Белене ще е рентабилен.

Отдавна знам, че токът от Белене ще е единствено за износ тъй като имаме достатъчно мощности за потреблението в страната. Преди да видя ВЕИ данните обаче бях много скептичен към алтернативите. Сега вече смятам, че с комбинация на ВЕИ и съществуващите блокове на АЕЦ-а, ще си осигурим не само стабилно производство, но и изгоден ток за износ.

Като допълнително четиво ви препоръчвам статиите на Капитал и Дарик. Ако забележите нарушения до и по време на референдума, не забравяйте да подавате сигнали на Fairelection.eu.

Това интервю беше публикувано днес в PiaNews под заглавието „Интервю с Боян #Юруков за силата на Отворените данни“. На сайта може да намерите и съкратена версия. В този блог ще намерите повече статии по темата, а тук може да разгледате и свалите различни данни.

Има много начини да бъде представена една информация – като обширни доклади цитиращи цифри, като електронни таблици, като графики или вече сдъвкани изводи. Когато говорим за публично достъпна информация, не става дума за формата. Той обаче е от критично значение, за да може тази публичност да има реален ефект. Ако поискате от парламента информация за всички изказвания на депутати в последната година, той може да ви ги предостави като хиляди разпечатки. Това не е въобще полезно, защото ще трябва със седмици да търсите нужните ви цитати и статистика. Сега може да намерим тези изказвания в електронен формат в мрежата, но ситуацията не е много по-добра. Причината е, че те не са в структуриран вид. Това означава, че не може да търсите отделни изказвания, да ги свързвате със обсъжданите теми и депутата. Отново ще се наложи да изчетете всички документи ред по ред, за да откриете кой и за какво говори.

Структурираният вид, за който говоря, стои в основата на принципа за повторно използване на данните. Това означава, че форматът, в който се подава дадена информация е такъв, че да може да се обработва автоматично извън контекста на сайта публикувал информацията. С други думи – изказванията на депутатите да са в табличен вид с име, времетраене, процедура, обсъждан закон и прочие. Това различава публичната информация от отворените данни. Примери за неотворени данни са търговския регистър, административния регистър, порталът на държавните поръчки и много други.

Колкото повече публична информация получаваме, толкова по-важно е тя да може да се използва повторно, да е отворена и в структуриран вид. Сега сме залети с милиони PDF, Excel или текстови документи без контекст или възможност да автоматична обработка. Това реално е псевдо-публичност, защото информацията не се предава в пълния си вид и не ни позволява да си правим изводи от данните. Създава се просто шум, от който можем да видим отделни щрихи, а не цялата картина.

Отворените данни показват различни аспекти от света ни – таблица с престъпленията по категории и време в даден регион, нарушенията засечени от ХЕИ, собствеността и историята на фирмите, държавни поръчки и еврофондове. Всеки от тези елементи ни позволява да видим същността на даден проблем или ефикасността на решение – например какво отражение върху престъпността в един квартал има увеличаването на полицейското присъствие. Истинската сила на отворените данни обаче е в комбинирането и визуализирането им. Фактът, че са в структуриран и лесен за обработка формат предразполага да ги използваме по неподозирани начини. Например, може да вземем данните за активността и сътрудниците на депутатите ни, да ги свържем автоматично с фирми от търговския регистър, да свържем собствеността на последните с други фирми и всички тях да сравним със спечелени обществени поръчки. Това на теория и сега е възможно, но една справка ще отнеме седмици работа на цял екип. В същото време ако имахме отворени данни от ТР и обществените поръчки, всичко ще отнема минути.

Така ще откриваме не само неефективност и корупция в администрацията, но и ще виждаме положителните практики. В много случаи добрите решения и работа остават скрити между цифрите и не остават забелязани. Виждаме само скандалите, корупцията и наглостта. С добра визуализация можем да виждаме добри тенденции и да проверяваме изказванията и нападките на политици, НПО-та и бизнесмени.

Ползите от отворените данни не са само в публичната сфера. Комисар Круз нарече отворените данни “петролът на 21 век”. Информацията в наши дни наистина е безценна и бизнесът може да печели най-много от нея. Отворените данни на публичните институции означават лесен, евтин и бърз достъп до информация, стандартизация на данните и документацията и предвидимост на отчетите на институциите. Анализ на данните могат да помогнат на бизнеса да открие ниши в производството и услугите, които други са пропуснали. Самият анализ и визуализация всъщност е една голяма ниша, защото е сложна тема с бързо растящ пазар в световен мащаб. Това само по себе си ще донесе множество високотехнологични работни места.

Мисля си, че по-скоро има непознаване и цинизъм към тази концепция. Повечето чиновници, журналисти и дори активни граждани не познават възможностите на отворените данни и дори, че вече има такива. Доста от тези, които знаят за тях, не вярват, че можем въобще да получим такива. Вярвам, че с положителни примери за ползите им можем да информираме и да обърнем повече хора във вярващи. Наистина и сега имаме проблем с достъпа до каквато и да е информация, но това нито е нещо специфично за нашата държава, нито е причина да отхвърлим идеята за пълната прозрачност. Влагайки изисквания в закона за отворени данни, ние ще въведем изискване всичко да се публикува редовно, коректно и в структуриран разбираем вид.

От друга страна, разбира се, най-вероятно има и такива, които не искат такива данни да бъдат предоставяни. Такъв според мен е случая с Търговския регистър, където информацията е твърде опасна за някои и твърде ценна за други. Затова достъпа до нея е максимално затруднен. В повечето случаи обаче не можем да говорим за някаква конспирация, а по-скоро за некадърно написани изисквания и още по-лошо изпълнение на информационните системи. Без конкретни дефиниции как трябва да се предоставя публичната информация, всеки чиновник или администратор в институциите взима това решение. Това обаче не е устойчиво, защото дори форматът да е добър и сайтът разбираем, при смяна на кадрите спира и поддръжката за тези данни. Такива примери можем да намерим във всяка институция и показват още по-ясно, че трябва да има ясна концепция за това какви данни, в какъв формат да се публикуват и кой да отговаря за качеството им.

В България има много хора, които работят по темата за прозрачността, а тя има много аспекти. Аз се фокусирам конкретно върху отворените данни и целта ми е повече хора да разберат защо са полезни. Съпротива не бих казал, че срещам. Дори има ентусиазъм. Проблемът е, че този ентусиазъм остава само на хартия без реални резултати. Най-често отворените данни остават в сферата на “нещата, които би било хубаво някой ден да въведем”. Писал съм на почти всички медии с идеи как могат да използват отворени данни. Почти никой не ми е отговорил. Вестници като The Guardian и Economist инвестират в специалисти и визуализация на данни, за да покажат на читателите си една различна гледна точка неподвластна от политическо говорене и спекулации. У нас за жалост никой от големите медии не е толкова смел и прозорлив, за да го направи.

Отчасти може да се каже, че медиите ни се движат по линията на най-малкото съпротивление. Разследващата ни журналистика, доколкото я има, гони само темите гравитиращи около последните скандали. Останалите новини са препечатани изказвания на политици и други медии. В този начин на работа и мислене не се вписва нещо толкова иновативно като отворените данни. Техническата грамотност също е голям проблем. Журналистите разбираемо не могат сами да направят интерактивни графики и сложни анализи над големи масиви от данни. Трябва обаче да имат разбиране и да могат да разчитат таблици и графики. Трябва да знаят какво е технически възможно, къде да го намерят и до кого да се допитат. Това е разследващата журналистика на 21 век.

Не знам дали съм единствения, защото не видях останалите аргументи. Знам, че е имало консултации с доста НПО-та и компании. В крайния план за действие обаче забелязах доста от препоръките ми. Изпратих и подробни ръководства как да се идентифицират данни подходящи за отваряне и изисквания за форматите. Наскоро изпратих и предложение за формат на данните за бюджетните плащания, защото в момента документите на министерствата са по-шарени от карнавал, което практически обезсмисля идеята. Надявам се предложенията ми или поне принципите в тях да залегнат в нормативните изисквания. Като цяло около този план не се шуми много. Освен плащанията не съм чул за развитие по другите 32 теми. Има нужда от промени в няколко закона – включително в Закона за достъп до информация. Трябваше да излезе подробна версия на плана с указания, стъпки и прочие, но се забави. Скоро ще трябва да отчитаме свършеното пред партньорите в OGP и не знам какво ще им кажем.

Конференцията имаше за цел да представи резолюция предложена от Европейската Комисия. Тя поставя изисквания към страните членки да предоставят данните във формат позволяващ повторна употреба. На панела предоставихме както анализи на ефективността на данните върху бизнеса и икономиката, така и практически примери за конкретни проекти. Забелязах, че присъстващите, сред които имаше и хора от Комисията, бяха доста заинтригувани. В България конференцията нямаше голям отзвук и го отдавам на това, че темата не е във фокуса на камерите.

DDJ или журналистика водена от данните е нова сфера, която става популярна в цял свят. Отворените данни обещават неизчерпаем източник за пикантни истории и сериозни анализи от всеки аспект на обществото. Визуализациите помагат на медиите да се включат в интерактивността на мрежата и дори да черпят знания от читателите си – т.н. crowdsourcing. Данните обаче са просто суровина и журналистите са тези, които ги интерпретират. При недобросъвестен прочит всяка информация може да бъде обърната с краката нагоре. Отворените данни ни помагат да проверяваме истинността на твърденията в медиите, но това не винаги е възможно или лесно.

Има два проблема с отварянето на данни. Първият е както споменах по-горе с формата, който е решаващ за това дали данните ще са въобще използваеми. Вторият проблем е рискът да се предостави секретна или лична информация. Това е аргумент, който много хора използват срещу отворените данни и е в центъра на дебата. Истината обаче е, че отворените данни всъщност подобряват сигурността на информацията в дългосрочен план.

Причината за това е, че се създава ясно разграничение кои данни са публични и кои не. Процесът на публикуване се автоматизира и заедно с него – изчистването на личната информация. Сега ужасно много лична и секретна информация е достъпна – било то заради изоставени папки из офисите или забравени документи в мрежата. Това не е толкова голям проблем заради трудния им анализ и използване. Трудният достъп обаче не е решение, защото не спира всеки. Отварянето на данните не означава, че ще пуснем всичко, а само това, което разпознаем като полезно за обществото. Така, например, можем да получим справка от НАП за всички плащания на касови апарати за страната. За да се запази фирмената тайна, данните могат да бъдат усреднени по общини и седмици. Така хем ще имаме безценен източник на данни за икономическата активност по сфери и региони, хем информацията ще е защитена.

Причината е в липса на указания за формата. Говорих с IT шефа в министерството и той ми каза, че няма проблем да ги предоставят в какъвто и да е формат. Просто им трябва заповед от МС. Изпратих предложение за конкретен формат и чакаме. В много случаи точно това е причината – при липса на конкретни изисквания някой чиновник взима решение според това на него как му е най-лесно или как той смята, че е правилно. Това води до липса на стандартизация, несъвместими формати и софтуерни решения.

Това впрочем е проблем не само за отворените данни. Една от основните пречки пред електронното управление, които напоследък кабинета изтъква, е невъзможността да се свържат съществуващите информационни системи. Доста хора, включително и аз, предупреждавахме отдавна за това. Интернет стандарти и принципите на отвореност не са просто “нещо хубаво за бъдещето” – те гарантират съвместимост и спестяват десетки милиони евро на държавата

Познати са най-вече сред хората четящи блога ми и следящи по-старите ми проекти като Lipsva.com. Наскоро завърших проект за отваряне на данните за катастрофи в София. Twitter обществото ми помага да поставям официално обявените тежки катастрофи на карта. Всичко е направено с графики и свободно за сваляне. Преди седмица пуснах и интересна карта с всички фирми регистрирани по ДДС и промените ден за ден. През октомври отворих данните за загиналите в Балканската война, но не ми е останало време да поставя всички 8000 родни и лобни места на картата. Това ще е прекрасен поглед над развоя на войните. Сега работя по интерактивен инструмент за представяне на всички европроекти по региони, теми, суми и фирми. Мисля, че ще стане доста интересно. Имам свалени и данните на административния регистър и на обществените поръчки, но не ми е останало време да се заема с тях. Като цяло правя всичко в свободното си време, а то е доста разпокъсанo.

Определено. Има разбиране у хора в управлението както са отворени данни и защо са полезни. Има ентусиасти в България, които работят по въпроса. От Европейската Комисия в близко бъдеще ще дойдат нормативни изисквания, а участието ни в OGP вече носи резултати. Отворените данни не са само технически въпрос, а най-вече психологически. Повечето чиновници и взимащи важните решения не се чувстват удобно с такава отвореност. Това е факт по цял свят и в известен смисъл България дори е леко напред в развитието си. Положението може обаче бързо да се обърне, ако не настояваме за повече прозрачност и възможност за проверка. Власт без контрол бързо се превръща в привилегия. Отворените данни са най-добрият способ за ефективен контрол, който съществува в момента.

В сряда бях в Брюксел по покана на Ивайло Калфин, за да говоря за отворените данни в България. Конференцията беше по повод резолюция на Европейската Комисия за публично достъпни данни, които могат да бъдат използвани повторно. Повече за резолюцията може да прочетете в блога на Калфин, който е докладчик към Европарламента, на страницата на Комисията и в блога на OKFN.

В панела участваха още Amelia Andersdotter – евродепутатка от шведските Пирати, Thibaut Kleiner от кабинета на Комисар Круз, който говори за самата резолюция, Marc de Vries от ePSI Platform – за икономиката на отворените данни, Chris Taggart от OpenCorporates – за данните на 49 милиона компании в проекта му и opendata усилията на Великобритания; Martin Kliehm от общинският съвет на Франкфурт – за отворените данни в Германия; Erich Möchel – за данните в медиите и Австрия; Ben White от Британската национална библиотека – за това как отваряйки данните и архивите си им е донесло приходи.

Аз представих проектите в Opendata.yurukov.net и проблемите свързани с тях. Опитах се да илюстрирам с практически примери три аспекта на отварянето на данни. Първият е, че има разлика между публични и отворени данни. Публична информация имаме и сега в България и то в големи количества. Може да погледнете например списъка с публични регистри изготвен от Програма Достъп до Информация. Проблемът с всички до един е, че практически данните не могат да се използват повторно. Ограничението идва от формата им – налага се загуба на много време, за да се направят прости справки. Затова трябва да ги „отворим“ както при съдебните актове (заедно с Пейо Попов), данните от Балканската война и бюджетните плащания. Вторият проблем е в нормативната база. Повторното използване и свалянето на тази информация на практика не е регламентирано от институциите. Повечето от тях посочват, че имат запазени права над тях и имат ценоразпис за продажбата й. Съществуват и неясноти около личните данни. Такъв е случаят с Търговския регистър и данните на Държавна сигурност. Друг важен проблем е качеството на данните. Нямаме информация за това кой ги поддържа и кой отговаря за точността им. При свалянето и обработка неизменно се губи информация, което създава проблеми. Липсата на документация и познания за контекста и термините – също. В тази насока могат да помогнат crowdsourcing проекти като този за катастрофите в София. Събиране на информация в структуриран формат от обществото е полезен и в други сфери. Затова споменах и проектите Lipsva.com, Crime.bg и Fairelections.eu.

Сред поканените бяха и представители на БАИТ, АПИС и Мусала софт, Програма Достъп до информация, Фондация за Отворено Знание, Института за модерна политика, Центъра за публични политики и застъпничество, Националната библиотека „Св. св. Кирил и Методий”, СУ „Св. Климент Охридски”, УНСС и т.н. С шефката на Програма Достъп до информация говорихме доста за данните в България и участието ни в Open Government Partnership.

Повече за отворените данни може да прочетете в предишните ми статии, в това интервю за в. Дума, българската версия на блога OKFN. Все още няма публикуван запис на срещата, но ще го пусна ако намеря.

Това интервю беше публикувано в днещния брой на в. Дума. Данните, които съм отворил с други opendata ентусиасти, ще намерите на тази страница. Погледнете също блога на OKFN-BG и предишните ми статии по темата.

Горе виждате графика, която използвах в статията си за блога на OpenGovPartnership и показва ражданията в България в периода януари-юли т.г. Тук ще намерите данните и сравнение с минали години в съотношение с населението на областите.

Как ви хрумна идеята за отворените данни?

Концепцията за отворените данни съществува отдавна. Запознах се с нея преди две години покрай други мои проекти и видях потенциала й.

Българското правителство се присъедини към инициативата „Партньорство за открито управление“. Вие обаче правите разлика между „открито управление“ и „отворени данни“.

Отворени данни са всяка информация, която се предоставя свободно, структурирано, редовно и качествено. Това означава, че всеки може да намери сурови данни за работата на публична или частна организация, да ги използва свободно и да разчита на точността им. Откритото управление, от друга страна, е предпоставка за публичност на взети решения, разходи, обществени поръчки и прочие. Тази прозрачност обаче не гарантира непременно последващ контрол. И сега имаме открито управление – стенограмите са публични, някои разходи, регистри и обществени поръчки. Един активен гражданин или журналист обаче не може да получи поглед над всички неща.

Откритото управление е начин на работа на една администрация и комуникация с обществото. Отворените данни са инструмент, който позволява да проверим дали тази комуникация е искрена и да открием нови възможности за работа.

Каква е ползата за обществото, за обикновения човек от отворените данни?

Еврокомисар Нели Круз каза, че информацията е новият петрол. По подобие на него обаче данните са само ресурс, който трябва да се разработи. Грешка на много проекти за отваряне на данни е, че не се популяризират и използват от гражданите.
Истината е, че обикновеният човек в наши дни не е достатъчно технически грамотен, за да свързва, анализира и обработва такива данни. За целта журналисти и opendata-ентусиасти могат да създадат инструменти, които да помогнат да се вникне в огромни и сложни масиви от информация. The Guardian е светило в тази област – на сайта му можем например да намерим карта на Лондон на енергията, която се използва за отопление на частни и правителствени сгради по региони. Така лесно може да се види енергийната ефективност и как работят различни мерки за повишаването й. Аналогично в Канада има няколко карти, на които всеки може да намери нарушенията на хигиената в любимите си ресторанти и да сравни кулинарната оценка в други сайтове. Това действа дисциплиниращо за ресторантите и помага за ограничаване на случаите на хранителни натравяния. Трети пример са множеството сайтове за анализ на бюджетите и бюджетните разходи по света. С тяхна помощ могат да се открият проблеми с публичността и неефективни харчове.

Виждате ли връзка между отворените данни и растежа, конкурентоспособността?

Данните имат потенциала да разкрият бизнес ниши – примерно в сферата на услугите, полезните изкопаеми или анализа на информация за бизнеса. Когато са пълни и се използват правилно, те помагат на свободния пазар и така – на растежа. Това обаче може да е и нож с две отриета. В Индия, например, тази повишена прозрачност е била от полза предимно за многонационалните корпорации и технически развитите фирми. С тяхна помощ те са успели да надделеят над местния бизнес с познания за локалната култура и навици. Отворените данни водят със себе си стандартизация, която помага за растежа, но за да помогне и на конкурентоспособността, трябва да има инвестиции в техническа грамотност и в инструменти за оползотворяване на този ресурс.

Какво е вашето обяснение за съпротивата на институциите за „отваряне“ на данните?

Има два вида съпротива – пасивна и активна. Активна съпротива срещаме в онези институции, които търгуват с информация. Пример за това е Агенцията по вписванията, където множество регистри са практически заключени и са толкова неизползвами във вида, в който ги предоставят, че държавата се налага да плаща милиони за частен софтуер, през който да гледа същата информация, за която вече сме платили с данъците си.

Пасивна съпротива срещаме при полицията, обласните управи и министерствата. Публикуването на отворени данни изисква разбиране защо са нужни те и усилие за поддържането им. Това е много трудно, когато в работата на самите чиновници принципите на отвореност не са залегнали и използването на този тип информация не се насърчава.

Вие живеете от дълги години в Германия и може да сравните ситуацията там и в България по отношение на отворените данни. Какъв е вашият коментар?

В световен мащаб има подем на отворените данни едва в последните две-три години. Великобритания дръпна много напред през това време и начинът на мислене на управниците им е пример за цяла Европа. Германия е близко до България в това отношение – има много разпокъсани ресурси и липсва единна цялостна стратегия. Силната местна власт в Германия обаче позволява да се създават изключително добри проекти за отворени данни, които за жалост не виждаме в България. У нас почти всичко е централизирано и без заповед от София всички се притесняват да направят каквото и да било.

Очевидно институциите нямат интерес да ни „допускат“ до тайните си. Кой според вас трябва да се заеме с „отварянето“ на данните?

Институциите искат да отворят данните си, но само някои. Често става дума за информация, която искат да се види, от която ще проличат успехите им или пък такава, която ще покаже привидна публичност, но на практика няма да помогне за истинска прозрачност. Публикуването на хиляди документи в свободен текст не е прозрачност, защото никой няма да седне да ги чете. Затова например искаме да получим идексирани и подредени стенограмите на парламента. И сега ги получаваме, но е практически невъзможно да се изкарат всички изказвания на даден депутат по дадена тема. В системите на парламента има възможност да се публикуват стенограмите като отворени данни, но вече година това не се случва.

Освен вас има ли други ентусиасти, които работят в тази насока?

Ентусиасти има много – включително в рамките на институциите. Говорил съм както с хора в кабинета, така и с чиновници „в окопите“, които искат да използват и публикуват отворена информация. Откритото управление не е просто услуга за гражданите – това е принцип на работа и на реформи в самата администрация. Отворените данни помагат както за по-добра хоризонтална и вертикална видимост в работата на администрацията, така и за по-добра сигурност на оперативните и защитените данни. Всичко това се вижда от хора в държавния апарат и има желание за промяна. Не липсва дори воля от горните етажи. Това, което липсва и спира развитието обаче, е обща визия за легалните и техническите аспекти, липсва ефективен натиск към отделните институции нещата да се случат. Така отворените данни остават просто „нещо, което „би било хубаво да имаме“.

Кои данни вече са отворени и къде могат да се намерят.

Учудващо много информация е публична, но за жалост е трудна за обработка. НАП, НСИ и финансовото министерство публикуват редовно таблици с отчети и анализи. Често намираме подобни отчети и в други институции. Има регистри като търговския или кадастъра, където можем да намерим доста информация, макар да е трудно да се търси. Подобен е и случаят с актовете на съдебната система, с административния регистър и бюлетините на МВР. Навсякъде е проблем качеството – няма яснота как се поддържат, каква информация липсва и кой гарантира качеството на наличните данни.

Кои са данните, които предстои да отваряте?

В момента работя конкретно по данните за бюджетните плащания. Отворил съм тези на финансовото министерство и търся начин да отворя плащанията за всички второстепенни бюджетни разпоредители. Паралелно отварям данните за обществените поръчки и административния регистър.

Кое е най-голямото предизвикателство в работата ви по отварянето на данни?

Най-голямото предизвикателство си остава използването на данните. За мен техническата част е лесна, проблем обаче остават качеството, поддържането и оползотворяването на информацията. Често данните трябва да се свалят и проверяват на ръка (пример за това е регистърът на ражданията). В някои регистри има сериозни въпроси около точността и пълнотата на данните (пример – актовете на съдебната система, където много документи не са качени или са нечетими). Най-вече обаче цялата тази информация трябва да влезе в употреба – от журналисти, графични дизайнери, блогъри и ентусиасти. Трябва да се изготвят интерактивни приложения, инфографики, да се вадят изводи, да се поставят в различен контекст и да се комбинират с други данни. За да се стимулира този процес, има нужда от семинари и състезания. Такива се организират в други държави и помагат не само да се създадат полезни приложения, но и да се осъществи контакт между разработчици, дизайнери и журналисти. Точно тези контакти помагат да се създадат истински приложения, полезни както за обикновения човек, така и за самите политици и чиновници.

Дали съм оптимист? Защо не? Проблемите ни с прозрачността не са уникални за България, но трябва да намерим наш начин да ги решим. Има достатъчно хора, които искат да действат в тази насока, и реално няма значение кой е на власт – просто трябва да натискаме достатъчно дълго и на правилните места, за да се случат нещата. В никакъв случай няма да е лесно и в никакъв случай напредъкът няма е линеен. За да има устойчив успех, трябва първо да накараме обществото да разбере какво в действителност е открито управление, защо отворените данни са полезни и как то да разпознава кога политиците използват псевдопрозрачността за свои цели.

На всички е известно, че има проблемни кръстовища и отсечки в София и всички градове в България. На тях редовно стават катастрофи и докато не се случи най-лошото и медиите ги забележат, тези проблеми потъват в общата статистика. Тук можем да обвиняваме държавата, полицията или общините, но истината е, че хората трябва да натискат тези неща да се оправят.

Един начин това да стане е като имаме добър поглед над всички проблеми точки по пътищата. За целта трябва да знаем за всички катастрофи, къде се намират и какви са причините за тях. За жалост тази информация не е достъпна в отворен вид, т.е. няма място където да си я свалите като карта или Excel таблица. Преди няколко дни в интервю за в. Дума споменах, че съм открил начин.

Забелязах, че КАТ София имат страница, в която всеки ден пускат статистика за катастрофите, пострадалите и местата, на които са станали. Най-хубавото е, че страницата има еднаква структура всеки ден и сравнително лесно изкарах данните от нея. Така вече имам следните показатели по дни:

Заедно с тях има и текст, с който се описват някои от тежките инциденти. Всички тези данни вече се събират автоматично на сайта ми в база данни. Този начин на събиране обаче има ограничения.

Първият проблем е, че не можем да видим статистиката със задна дата – обновява се на ръка в работни дни. Така научаваме и сумарно катастрофите през почивните дни плюс петъка преди тях. Друг проблем е, че не знаем къде колко са пострадалите – само общата бройка за деня. Още преди да направя анализа на данните, пуснах един скрипт да сваля информация от 24-ти нататък. Броят катастрофи може да видите обобщени на следната графика:

По-особен проблем представляват адресите. Често те са във формата „ул. Суходолска в района на № 22“ или „ул. Галилео Галилей на кръстовището с ул. Н. Коперник“, а понякога са изпуснати букви от имената на адресите. Така най-често е невъзможно да се намерят точните географски координати на тежките инциденти и трябва да се търсят на ръка. Затова вчера написах набързо инструмент, в който всеки ще може да помага с тази задача.

Инструментът използва принципа на crowdsourcing-а, за който писах преди и който използваме в Crime.bg и FairElections.eu. Представлява страница, на която може да въведете Twitter името си или собственото си име (за обратна връзка и за списъка с помогнали), след което ще видите карта с последните адреси без координати. Когато натиснете адрес, Google ще се опита да познае мястото. След това местейки маркера на картата може да го сложите на правилното място. Има проста търсачка, а списъка вдясно ще показва адресите, с които сте готови. Накрая изпращате събраните данни и след като се съберат достатъчно предложения, сървърът ще изчисли най-вероятното местоположение. Ако предложенията се разминават с повече от 50 метра, получавам мейл в края на седмицата и избирам мястото, което смятам, че е вярно. Данните и адресите се обновяват всеки ден в 18 часа и тогава системата ще пуска tweet с броя нови неизвестни адреси и линк, където може да помогнете.

Цялата информация се пази в база данни. Изчаквам да се съберат повече, за да уеднаквя етикетите и категориите. След около седмица ще пусна всичко да може да се сваля като SQL база данни, като KML файл и като Excel таблици. Ще направя и карта с графики, която ще показва катастрофите от изминалите дни.

Ще повторя, че данните имат доста условности. Най-голямата е, че тази информация не трябва да се събира така. Тя трябва да се предоставя от КАТ в отворен формат лесен за анализ. Соломон Паси писа в Twitter, че в разговор с Мат Бритин – вицепрезидент на Google – е станало ясно, че много градове и държави им предоставят такива данни свободно. Така помагат на потребителите си да избягват задръствания и проблеми кръстовища. Добре ще е да имаме нещо такова не само за София, но и за другите градове. С този проект и вашата помощ можем да покажем ползата и да убедим КАТ да направи същото.

След поредицата от скандали в съдебната система, решихме да вмесем поне частица яснота. Всеки ден в съдилищата из страната се водят хиляди дела. За жалост данните за тези дела не са достъпни в мрежата, но се оказва, че актовете от тях са публични за повечето съдилища. Затова решихме да свалим всички и да ги предоставим свободно в мрежата за анализ.

Макар повечето актове да могат да се намерят на сайта на justice.bg, там може да се намират само по 1000 акта наведнъж и възможността за сложни справки почти липсва. За целта ни трябват всички актове като отворени данни. Към 5-ти август 2012 имаме вече 580049 акта и 607656 документа (някои от тях мотиви). Свалянето на актовете се правеше автоматично, но с такава честота, че да наподобява работа на обикновен потребител. Целта беше да не претоварим сървърите на съдебната система. Така свалянето отне около 3 седмици.

На този сайт ще намерите данните в  две части – мета данни и документи. Мета данните съдържат номер и тип на делото, съдия и съдебен състав, тип и дати на актове и мотиви, дали делото е предадено на горна истанция, дали има свързани дела и прочие. Тази информация се съдържа в SQL база данни. В таблици са отделени имената и местоработата на съдии и съдебни състави (общо 3789), като всеки от тях е свързан с издадените актове (общо 1152969 връзки). Тази структура позволява по-лесно изготвяне на справки.

Втората част от данните са самите документи. На сървърда на justice.bg те са предимно HTML и DOC файлове с общ размер 21Gb. За да се намали размера им и да са по-лесни за анализ, само текстовата информация беше извлечена като параграфите бяха запазени. Това намали размерът на документите до 10G (~ 2.1Gb zip). В този си вид те са говори за text mining. В архива те са подредени по години и месеци на издаване. Имената им се състоят от номера на акта и a/m в зависимост дали става въпрос за акт или мотив. Например, файлът в 2000/12/430449_a.txt е издаден през декември 2000, отнася се до акт с номер430449. Тъй като размерът на архива с документи е доста голям, моля пишете ни, за да ви пратим линк.

Качеството на данните е друг важен въпрос. Открихме, че някои актове липсват е системата. Пример за това е, че има само два акта на ВАС и ВКС. При ВАС може да се намерят актовете на техния сайт (където е много трудно да се извлекат), но не и в централната система. Мета данните имаха очевидни грешки при 19 акта – предимно дати на издаване. При 80 други акта документите са развалени. Възможно е да има още от тези 600000 документа, при които автоматичният анализ да не е хванал грешки, но нямаме възможност да прегледаме всички. Ако откриете такива, моля пишете ни, за да ги оправим.

Данните са актуални към края на юли 2012. Подготвяме механизъм за автоматично ежеседмично обновяване на последните качени актове. В тези случаи ще предоставяме само обновления на базата данни и архива с документи. Ако имате интерес към обновления или искате да анализирате данните, моля пишете ни. На страницата на данните ще намерите няколко графики изготвени от бързи справки.

Тази статия беше публикувана по-рано в българската версия на блога на OKFN.

Какви са обещаните мерки?

Планът се състои от 33 точки, които можем да разделим на няколко групи – финансова прозрачност, подобряване и отваряне на регистри, публични консултации и корпоративна социална отговорност. Всяка от тях цели да подобри прозрачността при взимането на решения и даде възможност на гражданите да работят и взимат решения с актуална и отворена информация.

Най-важната точка при финансовите мерки е публичността на бюджетите и бюджетните разходи. Това означава, че всяко министерство ще разяснява не само разпределението на бюджетите си, но и ежедневно ще публикува всички плащания, които е правила. В Капитал ще намерите добро описание на тази точка. Друга изключително важна мярка е публикуване на информация за ревизиите на фирми при открити нарушения. Това, разбира се, ще се прави при защита на данъчна и осигурителна информация. Ще се регламентира и създаде концепция за финансирането на НПО-та и ще се създадат инструменти за по-добро разбиране на бюджета и разходите от страна на гражданите.

Друга много важна точка е достъп до всички данни и отчети на лекари и болници. Това означава, че ще можем да получим информация за дейността, нарушенията, натовареността и всичко свързано с предоставянето на здравни услуги. Това ще става през новата здравно-информационна система и за жалост – само с електронен подпис. Все пак обаче данните ще са полезни и се надявам да са в отворен формат за по-лесен анализ. Самата здравно-информационна система е също е част от плана.

Следващият важен момент е поставен последен като точка, но има най-много общо с отворените данни. Планира се промяна в Закона за достъп до обществени данни като се създадат изисквания за предоставянето и публикуването на данни от страна на институциите. Няма много подробности в този документ, но това, което обсъждахме с кабинета, е да се въведат ясни технически изисквания и задължение за институциите да публикуват част от данните си в отворен формат. Това означава, че ще може да изискваме всички данни свързани с въпроса ни към дадена институция. Разбира се, те ще бъдат изчиствани всякакви лични и секретни данни. При създаването на всички нови информационни системи ще има възможност за свободен достъп до отворени данни, а при старите – може да се изгради такава. Разбира се, не знам дали тези предложения ще залегнат в закона, но бяха централна част от разговорите. Предвиден е също така контрол от страна на кабинета на изпълнението на тези мерки за прозрачност и отворени данни, както и публикуването на доклади по темата.

В планът се говори също така за публичен регистър на всички природни богатства – местоположение, експлоатация, концесии и прочие. Ще бъдат създадени и отворени доста други регистри. Включени са точки за корпоративната социална отговорност и информираността на гражданите за тях. Планира се и анализ на въздействието на нормативните актове върху бизнеса, по-добър диалог с гражданите и организирането на форуми и консултации.

Какво липсва?

От мерките, които предложих липсва най-вече отварянето на регистрите на Агенцията по вписванията. Както писах по-рано, в сегашният си вид са почти неизползваеми и на практика работят само в полза на 3-4 фирми. В рамките на Стратегията за Електронното Управление обаче те трябва да се интегрират, което може би ще означава отварянето им и навън.

В планът не се говори също така директно за отворени данни, което е нормално предвид вида на документа, това може би е нормално. Предполага се, че при изпълнението на заложените мерки ще залегнат принципите на отвореност на информацията, какъвто е духът на OGP, но това не е дефинирано изрично. Припомням, че не е достатъчно просто да се публикува някаква информация – трябва тя да е достъпна както за сваляне, така и за лесна обработка и анализ. Не става дума и за изграждането на централен портал за отворени данни, какъвто заявиха или вече са създали другите участници в инициативата. Говори се за разширяване на сайта на правителството и предполагам, че точно това имат предвид.

В предложенията ми включих и данни в реално време от събраните данъци и такси от НАП, както и обобщени ежеседмични данни по общини от касовите апарати, които и сега са свързани с тях. Тези данни ще са безценни за създаването на ясна картина на икономическата ситуация у нас. Призовавам и за повече прозрачност в МВР – данни за регистрираните престъпления, катастрофи и издирвания с категоризация, местоположение и време. Същото важи и за обществените поръчки и евро-фондовете – макар там данните да са публични, те далеч не са отворени. Така можем да свалим всичките 177000 документа за обществени поръчки, но няма да можем да ги анализираме и направим важни изводи от тях.

Подобна е ситуацията с доста институции и регистри, където информацията е публична, но не може да се свали. В момента работя по отварянето на Административния регистър. Междинните резултати ще намерите тук. Отворих данните на Комисията за Държавна сигурност, защото в този си вид са невъзможни за анализ. Започнах да изграждам структура на връзките между агентите. Тук ще намерите предварителна графика с част от данните и то само с известните 5140 сътрудници. Работя по алгоритъм за извеждане на тези, които са споменати само по име и тогава ще има много повече връзки.

Къде да намеря повече информация?

Най-доброто място за новини и информация за отворените данни у нас е mailinglist-а на Open Knowledge Foundation за България. В събота се събрахме виртуално няколко души и решихме да създадем родна структура на тази организация. Първата стъпка е блог, където ще пускаме новини, ресурси и информация за събития. За повече на принципите на отворените данни и прозрачността може да прочетете и в предишните ми статии.

Допълнение 5 юни

Министерството на финансите вече публикува данни за ежедневните бюджетни плащания към всички ведмоства. Докладите са разбити по цели на плащанията и брой преводи. Очаква се от началото на август всички министерства да публикуват такива доклади. Това цели прозрачност и е част от точките, които съм описал по-горе. Повече за това ще намерите в българския раздел на блога на OKFN:

Всички бюджетни плащания се публикуват вече ежедневно в интернет

Примерни графики на потока от парични средства може да намерите в коментарите по-долу. Това са само начини на визуализиране и нямат реални данни от споменатите доклади.

Оказа се, че планът е бил пуснат на сайта още на 11-ти, но никой не го е забелязал. Заедно с него има и прес съобщение, че представител на кабинета ще участва днес на срещата на OGP в Бразилия и ще говори за нашия план. Може да го свалите в PDF версия по-долу.

Добрите новини

Планът започва с увод за целите на откритото управление и изброява нещата, които са свършени вече. Споменават се мерките за публичност на изготвянето на бюджета, стенограмите и решенията на кабинета, развитието на електронното правителство, регистрите, порталът Strategy.bg и този за обществените поръчки. Сред тях е намерил място и гражданският проект OpenParliament.net на Института за развитие на публичната среда. Този сайт в момента представлява блог, но съвсем скоро ще комбинира на данните на парламент, които отворих през декември заедно с такива от търговския регистър и сметната палата. Така ще дава добра представа кой какво прави сред управляващите ни. В плана са включени също законът за достъп до публични данни и свързването на касовите апарати.

Има няколко положителни точки, които се заявяват в плана. Четири от тях са сред предложенията, които изпратих на кабинета – изготвяне на единни отворени стандарти за електронни системи услуги, публикуване на подробна бюджетна информация, прозрачност и отчетност на здравните заведения и по-голяма ефективност на законът за достъп до обществени данни. Включени са и доста законодателни мерки свързани с подземните богатства, работата с НПО-та и отчетността на фирмите. За всички тях ще бъдат изготвени стратегии и конкретни регистри с публична информация. Конкретизирани са мерки свързани с електронното управление, които не бяхме виждали по-рано.

Открито управление или отворени данни

Това разграничение е много важно. Отворено управление означава прозрачност и отчетност, но не непременно отворени данни. Открито управление имаме и сега до известна степен – публикуват се стенограми, тонове документи, статистика, има доста публични регистри и сравнително добър закон за достъп до обществени данни. Това е откритото управление – предоставяне на някаква информация. Но за да е полезна тази информация на гражданите, тя трябва да е отворена. Това означава, че вместо да имаме достъп до тонове документи в свободен текст, анализите трябва да са в единен структуриран формат. Вместо статистика за работата на МВР и НАП, трябва да получаваме сурови данни, които сами да анализираме. Вместо разпокъсани регистри с почти неизползваем интерфейс допълнително блокиран с captcha (анти-спам), трябва да имаме интегрирани, свободни за сваляне и пълни данни. Едва тогава публичната информация на откритото управление става отворена. За подробен поглед над разминаването между OpenGov и OpenData препоръчвам труда на Харлан Юу и Дейвид Робинсън. Говорих с тях във Варшава миналата година и описват доста добре разликите и генезиса на проблема.

Пример, който илюстрира това, е Народното Събрание. На сайта им ще намерите може би най-добрите отворени данни предоставени от институциите ни. Въпреки това, дори те чисто технически не стават за работа. Затова се наложи да ги изчистя, смеся и трансформирам. Ще откриете поправените данни на тази страница. Съвсем скоро на OpenParliament.net ще заработи визуализация на тези и други данни. Тогава чак информацията публикувана от парламента ще стане истински полезна – когато обикновените хора имат интуитивен инструмент за анализ на работата на избраниците си. Гигабайтите стенограми в свободен текст, таблици с гласуване и законопроекти не помагат много.

„Може би“ добра новина

Говоря уклончиво, защото планът има два сериозни недостатъка. Първия е, че е изготвен на базата на неформални разговори със заинтересовани лица. Това е добър подход за придобиване на начална представа, но практически липсва публичният процес на консултации, който се забелязваше в други държави. Струва ми се, че повечето от участвалите във въпросните неформални разговори сме учудени, че това е крайният вариант и няма да подлежи на обсъждане.

Вторият недостатък е, че липсва конкретика. Макар това да е все пак просто план, много напомня на стратегията за електронно управление. Тя съдържаше много добри решения и идеи, повечето от тях обаче останаха на хартия. В прес-съобщението на кабинета се споменава, че в рамките на месец ще бъде изготвен списък с конкретни задачи. Те ще се базират на въпросния план и ще ни позволят да следим ангажиментите на управляващите в рамките на инициативата OGP. Остават обаче няколко важни въпроса:

Надявам се, че след днешната среща в Бразилия ще получим повече информация и планът за открито управление няма да бъде подритнат от медиите като поредната политическа клюка. Качествените журналисти ще спечелят най-много от тези данни, защото ще се натъкнат на златна мина от новини и поглед над нещата. Според разбирането им при отразяването на тематиката ще разпознаете едните от другите.

Може да погледнете целия документ на плана тук или на сайта на кабинета.

Втората новина около Open Gov Partnership е, че на 1-ви март сме предали отговор какъв е напредъка на България. През целия февруари предупреждавах многократно, че е повече от препоръчително да изпратим няколко кратки параграфа. Сега на сайта на OGP може да се види линк към Strategy.bg и кратко обяснение, че у нас тече дебат.

В интерес на истината е имало неформални срещи с НПО-та. Вероятно от типа на разговора ми с Бъчварова през януари. На 28-ми март имаше среща на Съвета за развитие към Министерски съвет, където са били обсъдени отворените данни. Преди тази среща изпратих на посочения от тях мейл обобщение на предложенията ми по темата. Изпратих и линк към тези, които вие дадохте през януари. За техническите предложения и другите ми идеи писах по-рано. Надявам се поне тези за бюджета, престъпността и регистрите да бъдат взети под внимание – това са най-важните данни на първо време.

От информацията, която имам, срещата е минала добре и в средата на април може да очакваме план. Надявам се да не е окончателен вариант, а да бъде подложен на допълнителна дискусия. Консултационният процес не е задължително да става с официални срещи с НПО-тата, кръгли маси и конференции. Достатъчно е да има платформа като споменатия горе сайт. Процесът обаче трябва да е прозрачен и всички предложения да се публикуват, за да e ясно какво е взето под внимание, какво – не и защо. Ако този елемент на прозрачност не бъде налице, всичко след това ще се опорочи. Така, например, може да погледнете резултатите от консултациите в Канада и Словения. В Дания ще излязат до края на месеца.

Тъй като вероятно сте забелязали, че напоследък пиша все повече по темата за отворените данни, мисля, че вече е време да се отдели всичко в нов блог. За целта ми трябват обаче още автори, така че ако някой е навит – пишете. Спомням си, че Бого беше направил такъв сайт преди време, но тогава не бях толкова запален. Сега мога да отделя всички статии за open data, да споделяме повече линкове и кратки новини. Ще пиша по-късно в BrainstormMonk за идеята ми да видим дали някой ще се навие.