Това интервю беше публикувано днес в PiaNews под заглавието „Интервю с Боян #Юруков за силата на Отворените данни“. На сайта може да намерите и съкратена версия. В този блог ще намерите повече статии по темата, а тук може да разгледате и свалите различни данни.

Има много начини да бъде представена една информация – като обширни доклади цитиращи цифри, като електронни таблици, като графики или вече сдъвкани изводи. Когато говорим за публично достъпна информация, не става дума за формата. Той обаче е от критично значение, за да може тази публичност да има реален ефект. Ако поискате от парламента информация за всички изказвания на депутати в последната година, той може да ви ги предостави като хиляди разпечатки. Това не е въобще полезно, защото ще трябва със седмици да търсите нужните ви цитати и статистика. Сега може да намерим тези изказвания в електронен формат в мрежата, но ситуацията не е много по-добра. Причината е, че те не са в структуриран вид. Това означава, че не може да търсите отделни изказвания, да ги свързвате със обсъжданите теми и депутата. Отново ще се наложи да изчетете всички документи ред по ред, за да откриете кой и за какво говори.

Структурираният вид, за който говоря, стои в основата на принципа за повторно използване на данните. Това означава, че форматът, в който се подава дадена информация е такъв, че да може да се обработва автоматично извън контекста на сайта публикувал информацията. С други думи – изказванията на депутатите да са в табличен вид с име, времетраене, процедура, обсъждан закон и прочие. Това различава публичната информация от отворените данни. Примери за неотворени данни са търговския регистър, административния регистър, порталът на държавните поръчки и много други.

Колкото повече публична информация получаваме, толкова по-важно е тя да може да се използва повторно, да е отворена и в структуриран вид. Сега сме залети с милиони PDF, Excel или текстови документи без контекст или възможност да автоматична обработка. Това реално е псевдо-публичност, защото информацията не се предава в пълния си вид и не ни позволява да си правим изводи от данните. Създава се просто шум, от който можем да видим отделни щрихи, а не цялата картина.

Отворените данни показват различни аспекти от света ни – таблица с престъпленията по категории и време в даден регион, нарушенията засечени от ХЕИ, собствеността и историята на фирмите, държавни поръчки и еврофондове. Всеки от тези елементи ни позволява да видим същността на даден проблем или ефикасността на решение – например какво отражение върху престъпността в един квартал има увеличаването на полицейското присъствие. Истинската сила на отворените данни обаче е в комбинирането и визуализирането им. Фактът, че са в структуриран и лесен за обработка формат предразполага да ги използваме по неподозирани начини. Например, може да вземем данните за активността и сътрудниците на депутатите ни, да ги свържем автоматично с фирми от търговския регистър, да свържем собствеността на последните с други фирми и всички тях да сравним със спечелени обществени поръчки. Това на теория и сега е възможно, но една справка ще отнеме седмици работа на цял екип. В същото време ако имахме отворени данни от ТР и обществените поръчки, всичко ще отнема минути.

Така ще откриваме не само неефективност и корупция в администрацията, но и ще виждаме положителните практики. В много случаи добрите решения и работа остават скрити между цифрите и не остават забелязани. Виждаме само скандалите, корупцията и наглостта. С добра визуализация можем да виждаме добри тенденции и да проверяваме изказванията и нападките на политици, НПО-та и бизнесмени.

Ползите от отворените данни не са само в публичната сфера. Комисар Круз нарече отворените данни “петролът на 21 век”. Информацията в наши дни наистина е безценна и бизнесът може да печели най-много от нея. Отворените данни на публичните институции означават лесен, евтин и бърз достъп до информация, стандартизация на данните и документацията и предвидимост на отчетите на институциите. Анализ на данните могат да помогнат на бизнеса да открие ниши в производството и услугите, които други са пропуснали. Самият анализ и визуализация всъщност е една голяма ниша, защото е сложна тема с бързо растящ пазар в световен мащаб. Това само по себе си ще донесе множество високотехнологични работни места.

Мисля си, че по-скоро има непознаване и цинизъм към тази концепция. Повечето чиновници, журналисти и дори активни граждани не познават възможностите на отворените данни и дори, че вече има такива. Доста от тези, които знаят за тях, не вярват, че можем въобще да получим такива. Вярвам, че с положителни примери за ползите им можем да информираме и да обърнем повече хора във вярващи. Наистина и сега имаме проблем с достъпа до каквато и да е информация, но това нито е нещо специфично за нашата държава, нито е причина да отхвърлим идеята за пълната прозрачност. Влагайки изисквания в закона за отворени данни, ние ще въведем изискване всичко да се публикува редовно, коректно и в структуриран разбираем вид.

От друга страна, разбира се, най-вероятно има и такива, които не искат такива данни да бъдат предоставяни. Такъв според мен е случая с Търговския регистър, където информацията е твърде опасна за някои и твърде ценна за други. Затова достъпа до нея е максимално затруднен. В повечето случаи обаче не можем да говорим за някаква конспирация, а по-скоро за некадърно написани изисквания и още по-лошо изпълнение на информационните системи. Без конкретни дефиниции как трябва да се предоставя публичната информация, всеки чиновник или администратор в институциите взима това решение. Това обаче не е устойчиво, защото дори форматът да е добър и сайтът разбираем, при смяна на кадрите спира и поддръжката за тези данни. Такива примери можем да намерим във всяка институция и показват още по-ясно, че трябва да има ясна концепция за това какви данни, в какъв формат да се публикуват и кой да отговаря за качеството им.

В България има много хора, които работят по темата за прозрачността, а тя има много аспекти. Аз се фокусирам конкретно върху отворените данни и целта ми е повече хора да разберат защо са полезни. Съпротива не бих казал, че срещам. Дори има ентусиазъм. Проблемът е, че този ентусиазъм остава само на хартия без реални резултати. Най-често отворените данни остават в сферата на “нещата, които би било хубаво някой ден да въведем”. Писал съм на почти всички медии с идеи как могат да използват отворени данни. Почти никой не ми е отговорил. Вестници като The Guardian и Economist инвестират в специалисти и визуализация на данни, за да покажат на читателите си една различна гледна точка неподвластна от политическо говорене и спекулации. У нас за жалост никой от големите медии не е толкова смел и прозорлив, за да го направи.

Отчасти може да се каже, че медиите ни се движат по линията на най-малкото съпротивление. Разследващата ни журналистика, доколкото я има, гони само темите гравитиращи около последните скандали. Останалите новини са препечатани изказвания на политици и други медии. В този начин на работа и мислене не се вписва нещо толкова иновативно като отворените данни. Техническата грамотност също е голям проблем. Журналистите разбираемо не могат сами да направят интерактивни графики и сложни анализи над големи масиви от данни. Трябва обаче да имат разбиране и да могат да разчитат таблици и графики. Трябва да знаят какво е технически възможно, къде да го намерят и до кого да се допитат. Това е разследващата журналистика на 21 век.

Не знам дали съм единствения, защото не видях останалите аргументи. Знам, че е имало консултации с доста НПО-та и компании. В крайния план за действие обаче забелязах доста от препоръките ми. Изпратих и подробни ръководства как да се идентифицират данни подходящи за отваряне и изисквания за форматите. Наскоро изпратих и предложение за формат на данните за бюджетните плащания, защото в момента документите на министерствата са по-шарени от карнавал, което практически обезсмисля идеята. Надявам се предложенията ми или поне принципите в тях да залегнат в нормативните изисквания. Като цяло около този план не се шуми много. Освен плащанията не съм чул за развитие по другите 32 теми. Има нужда от промени в няколко закона – включително в Закона за достъп до информация. Трябваше да излезе подробна версия на плана с указания, стъпки и прочие, но се забави. Скоро ще трябва да отчитаме свършеното пред партньорите в OGP и не знам какво ще им кажем.

Конференцията имаше за цел да представи резолюция предложена от Европейската Комисия. Тя поставя изисквания към страните членки да предоставят данните във формат позволяващ повторна употреба. На панела предоставихме както анализи на ефективността на данните върху бизнеса и икономиката, така и практически примери за конкретни проекти. Забелязах, че присъстващите, сред които имаше и хора от Комисията, бяха доста заинтригувани. В България конференцията нямаше голям отзвук и го отдавам на това, че темата не е във фокуса на камерите.

DDJ или журналистика водена от данните е нова сфера, която става популярна в цял свят. Отворените данни обещават неизчерпаем източник за пикантни истории и сериозни анализи от всеки аспект на обществото. Визуализациите помагат на медиите да се включат в интерактивността на мрежата и дори да черпят знания от читателите си – т.н. crowdsourcing. Данните обаче са просто суровина и журналистите са тези, които ги интерпретират. При недобросъвестен прочит всяка информация може да бъде обърната с краката нагоре. Отворените данни ни помагат да проверяваме истинността на твърденията в медиите, но това не винаги е възможно или лесно.

Има два проблема с отварянето на данни. Първият е както споменах по-горе с формата, който е решаващ за това дали данните ще са въобще използваеми. Вторият проблем е рискът да се предостави секретна или лична информация. Това е аргумент, който много хора използват срещу отворените данни и е в центъра на дебата. Истината обаче е, че отворените данни всъщност подобряват сигурността на информацията в дългосрочен план.

Причината за това е, че се създава ясно разграничение кои данни са публични и кои не. Процесът на публикуване се автоматизира и заедно с него – изчистването на личната информация. Сега ужасно много лична и секретна информация е достъпна – било то заради изоставени папки из офисите или забравени документи в мрежата. Това не е толкова голям проблем заради трудния им анализ и използване. Трудният достъп обаче не е решение, защото не спира всеки. Отварянето на данните не означава, че ще пуснем всичко, а само това, което разпознаем като полезно за обществото. Така, например, можем да получим справка от НАП за всички плащания на касови апарати за страната. За да се запази фирмената тайна, данните могат да бъдат усреднени по общини и седмици. Така хем ще имаме безценен източник на данни за икономическата активност по сфери и региони, хем информацията ще е защитена.

Причината е в липса на указания за формата. Говорих с IT шефа в министерството и той ми каза, че няма проблем да ги предоставят в какъвто и да е формат. Просто им трябва заповед от МС. Изпратих предложение за конкретен формат и чакаме. В много случаи точно това е причината – при липса на конкретни изисквания някой чиновник взима решение според това на него как му е най-лесно или как той смята, че е правилно. Това води до липса на стандартизация, несъвместими формати и софтуерни решения.

Това впрочем е проблем не само за отворените данни. Една от основните пречки пред електронното управление, които напоследък кабинета изтъква, е невъзможността да се свържат съществуващите информационни системи. Доста хора, включително и аз, предупреждавахме отдавна за това. Интернет стандарти и принципите на отвореност не са просто “нещо хубаво за бъдещето” – те гарантират съвместимост и спестяват десетки милиони евро на държавата

Познати са най-вече сред хората четящи блога ми и следящи по-старите ми проекти като Lipsva.com. Наскоро завърших проект за отваряне на данните за катастрофи в София. Twitter обществото ми помага да поставям официално обявените тежки катастрофи на карта. Всичко е направено с графики и свободно за сваляне. Преди седмица пуснах и интересна карта с всички фирми регистрирани по ДДС и промените ден за ден. През октомври отворих данните за загиналите в Балканската война, но не ми е останало време да поставя всички 8000 родни и лобни места на картата. Това ще е прекрасен поглед над развоя на войните. Сега работя по интерактивен инструмент за представяне на всички европроекти по региони, теми, суми и фирми. Мисля, че ще стане доста интересно. Имам свалени и данните на административния регистър и на обществените поръчки, но не ми е останало време да се заема с тях. Като цяло правя всичко в свободното си време, а то е доста разпокъсанo.

Определено. Има разбиране у хора в управлението както са отворени данни и защо са полезни. Има ентусиасти в България, които работят по въпроса. От Европейската Комисия в близко бъдеще ще дойдат нормативни изисквания, а участието ни в OGP вече носи резултати. Отворените данни не са само технически въпрос, а най-вече психологически. Повечето чиновници и взимащи важните решения не се чувстват удобно с такава отвореност. Това е факт по цял свят и в известен смисъл България дори е леко напред в развитието си. Положението може обаче бързо да се обърне, ако не настояваме за повече прозрачност и възможност за проверка. Власт без контрол бързо се превръща в привилегия. Отворените данни са най-добрият способ за ефективен контрол, който съществува в момента.