Както може би забелязвате, застъпвам темата за отворените данни доста често напоследък. Ако прозрачността в управлението ви вълнува, има две новини, които ще са ви интересни.
Първата е, че преди малко Европейската Комисия и по-точно комисар Нели Круз пуснаха няколко документа формиращи стратегия за развитие на свободно достъпните данни в общността. По-интересният документ е съобщението до Европейския Парламент, в което се обясняват подробно ползите от отворените данни за бизнеса, гражданите и самите правителства. Посочва се сегашното развитие в ЕС и стъпките, които трябва да се вземат. Втория и третия документ са директива и решение за изменение на работата с документи и отварянето им в ЕП, ЕК и Съвета. На сайта на Комисията ще намерите съобщението за стратегията и документите.
Втората новина е публикуването на пълните отворени данни на Народното Събрание. Успях да сваля всички данни, които се публикуват от тях, да ги оправя, допълня с информация събрана от страници им и да ги подредя в архив. Направих и сайта да прилича на този на парламента, но с уточнение, че няма връзка с тях и не е истинския.
Въпреки, че данните за депутатите и законите се публикуват вече в XML формат, повечето имаха грешки. Също така, доста от данните не бяха в структуриран формат. За тях направих скриптове, които автоматично четат страниците, подреждат данните и ги обръщат в отворените данни. Към този момент данните, които ще намерите на страницата на проекта са:
Всички данни са в XML формат като сега обмислям как да се обърнат в CSV формат за лесен анализ в Excel таблици, както и в SQL база данни, за по-лесни справки. Имаше и други интересни предложения в Twitter, които разглеждам. Сега данните съдържат на 11000 документа и представляват общо 1.12 Gb информация в два ZIP архива. На страницата ще намерите линкове към так, отворения код на скриптовете и XSL схема на всички данни. Има и доста полезни линкове към други ресурси.
Повечето данни са доста надеждни и ще бъдат обновявани поне веднъж на седмица. Стенограмите обаче не са индексирани. Открих структура в тях, с която да мога да отделя и свържа изказванията с определен депутат и дори законопроект и гласуване. Методът обаче не е надежден, още повече, че стенограмите преди 2001-ва явно са дигитализирани (сканирани и обърнати в текст), от което структурата им напълно е разрушена. Все пак миналата седмица отново ми дадоха надежда, че ще пуснат индексирани стенограмите, което ще даде още повече данни и интересна информация.
Една бонус новина е, че направих контакт със сътрудници в Open Government Partnership и научих кои са отговорните лица от наша страна. Сега се опитвам да се свържа с тях и се надявам скоро да имам новини за целите, които ще представят до март.
Ето и статията за стратегията на ЕК в блога на OKFN.
Супер новина, особено втората част!
Сега трябва да се натискат и общините да пуснат данните си по подобен начин. Дали не трябва да има стандарти за структурата на различните данни? Защото ако всяка община си измисли собствен стандарт, ще е трудно…
Стратегията за свободно достъпните данни, представяна от Нели Круз е сбор от почти ненужна информация и безцелно харчене на интелект
@MilenG – Стандарти има, но в крайна сметка всичко зависи от организацията на работа на конкретната служба. Затова и например не можеш да използваш същата структура за данни за парламента и полицията в Холания и в България. Същото важи за много сфери. Все пак, ако данните са структурирани по какъвто и да е начин, пак ще е лесно да се обърнат в друг формат. Впрочем в понеделник имам разговор с отговарящите за OGP в България и ще обсъдим и тази тема.
@nandiny – Това, което казваш освен, че е безсмислено като изречение, е просто хвърлено във въздуха без аргументи и връзка. Обясни ми защо според теб е ненужна информация,
Например мен ми се иска всички бюджетни организации да представят разбивка на разходите си по пера, като да речем се публикуват разходите по пера над някакъв праг (например 0.1% от общия бюджет).
Искам да разбера, колко например общината харчи за коледна украса, или заря по някакъв повод, или например колко ще ни струва Васил Найденов на Нова година. Когато видя счетоводните справки, без разбивка по пера не мога да преценя дали разходите са уместни.
Според мен, трябва да има стандарт за публикуване на детайлни счетоводни справки (то по принцип в бизнеса има поне няколко такива стандарта, но те са порядъчно сложни).
Друго нещо, което се повтаря в цялата държава, е че има някакви парламенти (народно събрание и общински съвети), където се провеждат заседания. Нещата са почти идентични, като структура от данни:
1. Дата, място, председател, …. (мастер данни)
2. Участници (общо, присъстващи)
3. Изказвания (участник, тип на изказването, съдържание)
4. Гласувания – Явни (Документ, За=>Списък, Против=>Списък, Въздържали се)
5. Гласувания – тайни …
Може би, ако тази информация е достъпна в „почти“ реално време, може да се направи много интересен сайт, където посетителите да коментират едно или друго изказване/решение. Някои хора познават избраниците си и могат да разяснят на останалите какво се крие зад техните позиции.
Това по-горе са само фантазии. Изстината е, че всичко може да стане само стъпка по стъпка.
@MilenG – за това за данните има хубави проекти за openspending (потърси в Google). За целта обаче трябва доста търсене на данни и ходене по мъките с отчети и изказвания на официални лица. За целта трябва отчетите да са добре структурирани и разбираеми. Повечето институции пускат такива на сайтовете си, но не са в единен формат.
Това за сайта вече го има като проект и много повече от това, което предлагаш 🙂 Няма да е в реално време, защото парламента сега забавя данните с седмица – две. Разговарям сега с тях обаче да ги пускат до ден два и имат вътрешен проект за целта. Ще пиша повече подробности като има окончателен проект и финансиране.
Писаха за данните в няколко блога и новинарски сайтове за отворени данни:
http://techpresident.com/news/21533/europe-roundup-opening-data-dataviz-and-public-transportation
Това трябва да се уреди със закон. Абсолютно всички разходи на общините, фактури, всичко, трябва да се качват за публичен достъп.
Също публичните данни задължително да са в един формат, който да е удобен за автоматична обработка. Например валиден XML. Да са със СВОБОДЕН достъп. А не сега като се опитам да прегледам регистъра на хората вписани като администратори на лични данни и да ми прави проверка, дали не съм бот.
Ами искам да съм бот. Искам да си напиша скрипт за каквото ми трябва и той да върши работата и да отваря документите, да ми вади, каквото ми e необходимо и да го структурира, както на мен ми харесва. Защо да влизам така? Къде е свободния достъп по този начин?
Закон – като врата у поле
Има европейска директива – което значи !!!!!!!!
А ето как е в Англия –
Руснаците и те не изостават – http://budget.mos.ru/
От 5 години го показвам на политици, и …… умират от страх
Само с натиск от данъкоплатците ще стане или от Европата – няма публичност нема паре. Ама и там нещо се ослушват. Що ли ?
Тия дето питаха КОЙ? – що не питат и за това. АААА сетих се, няма го в опорните точки дето са им ги спуснали благодетелите им. Мамини оранжеви мушмороци.
На тия дето ги избираме да вземат решения, може би трябва да им стане ясно, че си запазваме правото да контролираме харченето на нашите пари и живот.
Но ако младежта не разбере, че тия иждивенци ги правят на маймуни и хване сопата, ще трябва да се скита немила недрага по света и чак след 3-4 поколения внуците и може да бъде приета, не като балканци.
Не знам дали си забелязал, но статията ми е от 2011-та. През 2013-та беше въведено докладване на ежедневните бюджетни плащания на всички министерства, комисии и агенции. Има още много какво да се подобри, но сега се отварят данни и регистри всеки ден. От скоро се събират на http://opendata.government.bg.
Това е до голяма степен резултат именно на натиска на същите тези протестиращи, срещу които негодуваш. Натискам за отворени данни от много години и тази статия е само част от тази кампания. За разлика от Великобритания, Русия въобще не е добър пример, защото те пускат често манипулирани и избрани данни. Напуснаха инициативата Open Government Partnership, отчасти защото не искат да се придържат към същите изисквания за прозрачност.
Браво г-н Юруков. Искрено Ви се възхищавам на ентусиазма, трудолюбието и компетентността.
Това, което правиш ме обнадеждава. За народното събрание е супер.
Я да видим сега, може ли по тези данни, да намерим кой колко пъти е гласувал в момент, в който е бил в командировка или на посещение.
От тук ще може да видим кой закон и решение са не читави – незаконни.
Руснаците не ги давам за пример, а само, че и там има някакво движение.
Това, че управляващите им само по-големи пердета, страдат само обикновени хора като нас. И тях ги грее същото слънце, вали дъжда, духа вятър. Иска ми се да съм с погрешно впечатление – като, че ли дума започваща с рус… не Ви се нрави. Но, ако е така жалко – останал съм с впечатление, че сте много широко скроен човек, търсещ грешките в системите и полагащ труд да ги реформира за по-добро.
А за тия дето съм нарекъл мушмороци. Ами първите дни бях там и ги гледах в очите. Гледал съм очите на хората и 89г, и 97 и през зимата предшестваща КОЙ?. Знаете ли как се променяха очите на присъстващите. А пък, когато се появиха МОТИВИРАНИТЕ мушмороци, ми дойде в повече.
Но тях ги оставям на страна.
Аз съм положителен човек вярващ в доброто и се радвам на хубавото, в заобикалящия ме свят.
За това искрено Ви се радвам и бих искал да има повече млади хора като Вас.
Мъчно ми е само дето някой трябва от вън да ни каже, нима ние не си виждаме „мръсотията“, в която живеем и не вземем да поразчистим преди поредната директива.
Страха до такава степен е сковал обществото, медиите му промиват мозъка, зомбирайки го ( пак заради тия пусти пари) и той си натиска парцалите, заради подаянията на власт имащите.
Скоро гледах г-н Кеворкян в някаква „КОМБИНА“.
Едва на тази възраст, човек може да си позволи да каже, това което той каза.
Гледах и един натурализиран арабин, ами на водещия му увисна мандибулата и … тишина.
Ами това е.
Благодаря Ви.
С радост ползвам плодовете на Вашия труд.
P.S. Имам едно тягостно усещане, като че ли и ингилизите, и русите, и Хамериканците, и Европейците(а за тях се сещам, попитали Моника Маковей „Има ли корупция в европейския парламент и комисия ? – отговора го видели само тези, които я гледали в очите.) и Нашите хора са поклонници на ДВОЙНИЯ СТАНДАРТ. Е ако с отворените данни, се помогне да се понамали това ще супер.
И още нещо – може ли да виждаме статистика на посещенията на това, което правиш. На мен би ми било да видя и други искрено заинтересовани.
Ето още един линк, свързан с предстоящите избори. Дай те да го сложим на масата и да видим кой от кандидатите, какво е направил и какво ще направи подобно – https://www.gov.uk/government/uploads/system/uploads/attachment_data/file/408386/150227_PUBLICATION_Final_LGTC_2015.pdf