В този блог съм писал много за отворените данни – технологиите, ползите, конкретни проекти, напредъка в България и критика за липсата на такъв. Малко обаче се говори за опасността от отворените данни. Както многократно съм изтъквал, те са нищо повече от технологичен инструмент, а почти всеки инструмент може да се използва двояко. Те може да гарантират възможно най-голяма прозрачност, но дяволът винаги е в детайлите.

Тук ще срещнете някои от аргументите, които критиците на open data използват в старанието си да спрат реформите. С риск да им помогна с още такива, реших да събера всичко тук. Към всеки обаче съм добавил как може да се реши или защо значението му се преекспонира. Винаги ще има съпротива и неразбиране към нуждата за прозрачност и в никакъв случай едно решение не може да е перфектно. Още повече технологично решение като отворените данни. Важно е и да разберем какво значат те в сегашния контекст в България.

Риск за лични данни и корпоративна информация

Проблем

Това е едно от най-честите притеснения, когато се обсъжда темата за отворените данни. Когато се „отварят“ масиви от информация, част от тях може да съдържат лични данни или търговска информация. Ако не се внимава, чиновниците може да публикуват всичко и да създадат предпоставка за кражба на самоличност или смяна на собственост на фирма чрез измама.

Анализ

Такива коментари имаше след обсъждането на промяната на тарифата за достъп до базата данни на Търговския регистър. Тя обещава истинско отваряне на данните и възможност обикновени граждани и НПО-та да анализират информацията. В същото време обаче критиците на мярката изтъкват, че автоматичният анализ на данните ще позволи на т.н. „крадци на компании“ да идентифицират по-лесно потенциални жертви.

Има две важни точки, с които трябва да започнем. Първо, кражби на компании са се случвали доста преди публикуването на Търговския регистър. Второ, в описаната мярка не се дава достъп до повече информация, а само улеснява достъпа до вече съществуващ автоматичен интерфейс. В този смисъл потенциалните измамници няма да получат повече информация. Наистина, има вероятност да автоматизират търсенето си, но това е възможно и чрез платените сега системи за търговска информация. По-достъпните отворени данни до Търговския регистър обаче ще позволят на много други организации да следят и анализират за такива измами, което ще помогне за решаването и дори предотвратяването им.

В по-широкия смисъл, риск за личните данни съдържани в държавните информационни системи има и сега. Прилагането на принципа за отворени данни може да има само положителен ефект върху един съществуващ проблем. Всяка такава промяна изисква анализ кое може да е публично и кое не. Автоматизацията на отварянето на данни ще елиминира човешките грешки, като например забравена колона с лични адреси в Excel таблица.

Решение

Отварянето на обществени данни няма да създаде повече проблеми, но ще даде инструменти за решаването на съществуващите. Заради липсата на ясни процедури и протоколи за сигурност, досега сме ставали често свидетели на течове на лични данни. Проблемът тук не е в новата технология, а в начинът на работа до сега. Процесът на отваряне на данни може да промени това.

Друг метод за скриване на лична и служебна информация е агрегирането. Пример за това има в становището ми за новия Административен регистър, където предложих да се публикува сумата от натрупаните отпуски на служителите във всяко ведомство. При достатъчно добре избрано групиране се гарантира неприкосновеността на личността, но и че няма да има загуба на полезна публично достъпна информация.

Потенциална уязвимост в сигурността

Проблем

Тази опасност е вариация на предишната точка. Рискът е, че при автоматичните интерфейси, които предоставят възможност за справки в публична информация, може да има уязвимости. Тази възможност съществува и сега, но аргументът е, че при повече такива интерфейси, рискът за пропуски е по-голям.

Анализ

Пример за такъв пропуск е регистъра за позволенията за сеч на Агенцията по горите. Това е прекрасен пример за прозрачност въведен от последния служебен кабинет, макар и да не може да се квалифицира като отворени данни. Докато го разглеждах, забелязах определена уязвимост с базата данни. След сигнал до администраторите тя беше оправена.

Такива проблеми има винаги във всяка система и изчистването им е продължителен процес. Това обаче не може да бъде аргумент срещу автоматизирането на достъпа до обществена информация. Точно обратното – когато има хора, които се занимават точно с това и използват ресурсите активно, грешките се намират по-бързо. Това всъщност е дори аргумент в ползва на отворения код в администрацията.

Решение

За да се подобри сигурността, трябва повече прозрачност при създаването, тестването и поддържането на информационните системи. Подходът към сигурността на софтуерът сега е подобен на този на цялата администрация – крием всичко с надеждата, че никой няма да забележи дупките. Това очевидно далеч не е достатъчно с днешните технологии.

Манипулация на официалните данни

Проблем

Публикуваните справки може да бъдат манипулирани от съответните ведомства с цел прикриване на злоупотреби. Доверието в отворените данни и автоматизацията на анализа и визуализацията ще скрие тези манипулации.

Анализ

Подмяната на данни е сериозен проблем, който забелязваме и сега. Засичането ѝ е сравнително трудно, освен, ако не знаеш какво търсиш. Тук добър пример е системата за случайно разпределение на дела в съдебната система. Всички резултати от нея са публични, но отдавна се знае колко лесна за манипулиране е.

Решение

В света на отворените данни вече има решение на това и за него се изисква просто повече данни от различни източници. Автоматичната проверка ще покаже грешки в данните, но и проблеми в дефинициите и интерпретацията. Друго решение тук е автоматизирането на справките. При липсата на човешка намеса подмяната на публичните данни ще стане изключително трудна.

Манипулация на интерпретацията на данните

Проблем

Отворените данни са просто инструмент, но като такъв имат нужда от история или графика, която да изведе истинската им стойност. Основавайки се на реални данни, журналисти и НПО-та може да показват грешни интерпретации подменящи значението на информацията.

Анализ

Отново, този проблем съществува и сега. Виждаме го ясно с данните за раждаемостта. Когато псевдо-експерти, журналисти и политици искат да манипулират общественото мнение на база реални данни, то единствената надежда е отговор изтъкващ фактите. За това обаче няма нужда от реални данни – при липсата им първите винаги са си измисляли статистика.

Решение

Достъпа до повече публична информация би дал още инструменти за оборване на подобни подвеждащи изказвания. Не може да има технологично решение за липсата на етика при експерти и журналисти.

Технологична изолация на местния бизнес

Проблем

Това е опасност, която не е толкова очевидна. Информацията е сила, а отворените данни дават възможност за откриване на нови ниши и оптимизация на бизнеса. Големи корпорации със сериозен ресурс може да се възползват по-добре от публичната информация и стандартизирани egov услуги и да надделеят над местния бизнес с локалните му знания и опит.

Анализ

Този проблем може да се илюстрира със създаването и отварянето на кадастър в някои провинции на Индия. Силно фрагментираната и неформално дефинирана собственост на земята там е била пречка за големия бизнес и въпросния регистър е извадил от бизнеса много локални посредници. В България може да се направи подобен аналог с множеството фирми, които се изхранват с попълване на документи и изпълнение на конкретни задачи заради проблемите в администрацията. Друг пример у нас биха били обществените поръчки, ако и когато уведомяването и кандидатстването за тях станат изцяло електронни.

По-добрият и стандартизиран достъп до информация наистина може да помогне на компаниите с повече опит в анализа. Това е аргумент в привличането на чуждестранни инвестиции. Инструментите за анализ обаче са широко достъпни в наши дни и няма пречка за малките компании да ги използват. Точно обратното – това създава огромна технологична ниша на местно ниво. Далеч сме от универсален анализ и интеграция на данни, затова знанията и опита на местно ниво винаги ще бъде нужен. Нещо повече – малкият бизнес дори може да спечели за сметка на големите международни компании, защото ще има достъп до повече инструменти и анализи, които досега са стрували скъпи. Пример за това отново е отварянето на данните на Търговския регистър, постановлението за което все още престоява в Министерски съвет.

Улеснение за корпоративните лобисти

Проблем

Лобистки организации могат да използват същите тези инструменти за прозрачност, за да оптимизират отпорът си срещу регулаторни мерки.

Анализ

Отворените данни могат да се използват за идентифициране на проблеми в администрацията, изобличаване на корупция и проблеми при поръчки. Граждански организации могат да идентифицират рано проекти и наредби и да участват в дебатите. Аналогично обаче лобистките организации и НПО-та с непрозрачно финансиране могат да използват тези инструменти, за да оптимизират натиска си.

Пример за това може да бъдат проектите за закони и нормативни актове. Публикуването им на сайта на НС и Strategy.bg ни помага да реагираме по-рано, да задаваме правилните въпроси и да се организираме срещу корупционни практики и спорни текстове. Същото може да се направи обаче и срещу реформи заложени в тези проекти. Засичайки ги рано, тези организации може да организират кампании на дезинформация създавайки изкуствени скандали.

Решение

Отново този проблем съществува и сега. За жалост не малка част от медиите се използват като пощенски кутии за такива изкуствени скандали. Лобистки поправки и влияние се забелязват отдавана и каналите, по които получават информация за подготвени проекти, далеч не се ограничава до публично публикуваната информация. Отворените данни биха били решение именно на този проблем, защото биха автоматизирали публичността на редица процеси. Пример затова е случайното разпределение на делата, публичните консултации и обществените поръчки.

Обръщането на същия този механизъм срещу прозрачността и в полза на лобиските практики е теоретична възможност. Това само по себе си обаче няма да остане скрито, което до голяма степен ще го обезсмисли. Негативните кампании в медиите съществуват и сега и няма да се преборим с тях чрез повече публичност. Те са въпрос на медийна етика и обществено съзнание – въпроси, които не могат да се решат с технологии.

След поредицата от скандали в съдебната система, решихме да вмесем поне частица яснота. Всеки ден в съдилищата из страната се водят хиляди дела. За жалост данните за тези дела не са достъпни в мрежата, но се оказва, че актовете от тях са публични за повечето съдилища. Затова решихме да свалим всички и да ги предоставим свободно в мрежата за анализ.

Макар повечето актове да могат да се намерят на сайта на justice.bg, там може да се намират само по 1000 акта наведнъж и възможността за сложни справки почти липсва. За целта ни трябват всички актове като отворени данни. Към 5-ти август 2012 имаме вече 580049 акта и 607656 документа (някои от тях мотиви). Свалянето на актовете се правеше автоматично, но с такава честота, че да наподобява работа на обикновен потребител. Целта беше да не претоварим сървърите на съдебната система. Така свалянето отне около 3 седмици.

На този сайт ще намерите данните в  две части – мета данни и документи. Мета данните съдържат номер и тип на делото, съдия и съдебен състав, тип и дати на актове и мотиви, дали делото е предадено на горна истанция, дали има свързани дела и прочие. Тази информация се съдържа в SQL база данни. В таблици са отделени имената и местоработата на съдии и съдебни състави (общо 3789), като всеки от тях е свързан с издадените актове (общо 1152969 връзки). Тази структура позволява по-лесно изготвяне на справки.

Втората част от данните са самите документи. На сървърда на justice.bg те са предимно HTML и DOC файлове с общ размер 21Gb. За да се намали размера им и да са по-лесни за анализ, само текстовата информация беше извлечена като параграфите бяха запазени. Това намали размерът на документите до 10G (~ 2.1Gb zip). В този си вид те са говори за text mining. В архива те са подредени по години и месеци на издаване. Имената им се състоят от номера на акта и a/m в зависимост дали става въпрос за акт или мотив. Например, файлът в 2000/12/430449_a.txt е издаден през декември 2000, отнася се до акт с номер430449. Тъй като размерът на архива с документи е доста голям, моля пишете ни, за да ви пратим линк.

Качеството на данните е друг важен въпрос. Открихме, че някои актове липсват е системата. Пример за това е, че има само два акта на ВАС и ВКС. При ВАС може да се намерят актовете на техния сайт (където е много трудно да се извлекат), но не и в централната система. Мета данните имаха очевидни грешки при 19 акта – предимно дати на издаване. При 80 други акта документите са развалени. Възможно е да има още от тези 600000 документа, при които автоматичният анализ да не е хванал грешки, но нямаме възможност да прегледаме всички. Ако откриете такива, моля пишете ни, за да ги оправим.

Данните са актуални към края на юли 2012. Подготвяме механизъм за автоматично ежеседмично обновяване на последните качени актове. В тези случаи ще предоставяме само обновления на базата данни и архива с документи. Ако имате интерес към обновления или искате да анализирате данните, моля пишете ни. На страницата на данните ще намерите няколко графики изготвени от бързи справки.

Тази статия беше публикувана по-рано в българската версия на блога на OKFN.