Доста се забавих с тези данни. Причината за това беше новината, че новият сайт на парламента ще тръгне изцяло в началото на 2011. За жалост, имаше голямо забавяне и тъй очакваните отворени данни не бяха пуснати тогава. Сега имам уверението на екипа занимаващ се с поръчката, че в началото на Март вече ще ги имаме. Става въпрос за пълна информация за индивидуалните гласове, участието в пленарна зала, комисии, изказванията, отсъствията, предложенията и законите за всички депутати. Същите данни ще бъдат разбити и по закони, а стенограмите от пленарна зала и комисиите ще бъдат индексирани, структурирани и свързани с профилите на депутатите. Въпреки, че вече имаме отсъствията и гласовете, много е трудно да се обработват. Дори след като по наша молба започнаха да ги пускат като Excel таблици, автоматичният анализ пак е труден.

Когато излязат XML файловете, ще може всичко, което виждате по-долу и в предишните статии, да се вижда в реално време, да е по-точно, по-богато на информация и да може да се разбива по периоди. Така ще може да се направи графика на промените в активността на една или друга партия, да се разбие тази активност по събития, теми обсъждани в залата и конкретни закони, да се съпостави активността на отделен депутат или група с обещанията в Politikat и да се провери до колко една партия реално подкрепя законите на друга и как това се променя във времето. Възможностите са безкрайни. Чакаме само данните.

Статистиката

Ето и последните цифри за сесията септември-декември. Още не съм изкарал данните за текущата сесия – ще изчакам да свърши. Всичко може да свалите като Excel файл, а тези за старите сесии – от предишните две статии (тук и тук). Ако желаете, може да ги комбинирате и да направите статистика за цялата 2010. В графиката долу се вижда съпоставка между зимната сесия и лятната.

*: показва в какъв процент от гласуванията са участвали докато са били на работа. Не отчита пропуснатите гласувания докато са отсъствали.

Някои изводи

Що се отнася до отделни депутати, Доган пак не се е явявал нито един ден на работа. През изминалата сесия същият навик има и Пламен Петров от ГЕРБ. Метин от ДПС пък има цели 73% присъствие, при условие, че миналата сесия го е нямало никакъв. Най-послушни по партии са били Гюнай Сефер от ДПС с 94.3%, Галина Банковска от ГЕРБ с 92.2%, Мая Манолова от КБ с 87.9%, Ваньо Шарков от СК с 87.5% и Цвета Георгиева от АТАКА с 87.1%. С най-голямо участие пък е Нели Калнева-Митева от ГЕРБ, която е гласувала в 94% от случаите и винаги е била на работа. Лили Иванова има 96.3% участие, но то се смята за случаите, когато е била в зала, а тя е пропуснала 40 от 47 заседания. Въобще първите 106 места по участие в гласуванията са ГЕРБ, което ги прави най-редовни в парламента. На 107-мо място е Анна Янева от КБ с 56.6% участие при 75% реално присъствие. От АТАКА най-много има Павел Шопов с 51.7% при 94% присъствие. ДПС – Христо Бисеров с 51% гласуване, но той е присъствал едва на 4 заседания. От СК – Любомир Иванов с 44.3% и само 4 пропуснати заседания.

По партии се забелязва, че ГЕРБ участват в пъти по-активно, когато са на работа, спрямо своите колеги. За сравнение, дори когато от ДПС се появят в парламента, те участват едва в 18.4% от гласуванията. Това означава, че просто се регистрират, гласуват един от всеки 6 закона, а през останалото време са из коридорите. Социалистите, сините и Атака не са далеч от тези цифри. В послушанието се забелязва, че няма голяма разлика между партиите – всички се движат между 76 и 80%, с изключение на ГЕРБ, които са с 86%. Разликата не е много голяма, но може да е доказателство, че се гласува по-чинно от останалите. За жалост по статистиката за положителните гласове не може да се направи сметка коя партия коя подкрепя най-много. Би могло да се направи такава матрица едва когато излязат отворените данни и има връзка между конкретни гласове, законите и техните вносители. И сега това е възможно, но би отнело страшно много време и труд.

Отворени данни

Както е видно, с отворените данни могат да се правят доста интересни изводи. В последните седмици има доста раздвижване по темата или поне аз забелязвам повече неща. Едно журналистическо сдружение обмисля да събира база данни с източници на отворени данни и линкове за визуализация. Покрай активността в Twitter около конференция за отворени данни в Берлин, няколко човека подеха новината ми, че НС ще пуска данни. В последната ми статия писах за данните за енегийните източници в Европа. Покрай това се свързах и с международната фондация OKFN, която развива такива визуализации и проекти. През юни в София пък ще има Opencamp, където ще бъдат поканени международни специалисти по темата и представители на институциите. За него обаче ще пиша по-късно, когато излезе програмата. Снощи разбрах за един доста интересен проект за София, който също има изглед да пуска свободно информация за обработване. За жалост, нямам все още успех с полицията и идеята поне да пускат структурирани съобщения за изчезнали. Крайната ми цел е да пускат отворени данни за всички престъпления и решаването им, както се прави в Англия, щатите, Германия и много други страни. Усилията обаче продължават. Междувременно пуснах данни за вече решените случаи излезли от системата на Lipsva. Файлът ще намерите тук – XML (форматиран), JSON и CSV. Обновява се при всеки решен случай и се надявам да има повече такива.

Както обещах, ето окончателната статистика за гласуването на депутатите от миналата сесия. Тя се базира на формулите за реално присъствие, положително гласуване, активност при вот и послушание, за които писах миналия път. В тази графика ще видите разликите, които са се появили след последните 3 седмици на заседания. Малките квадрати и цифри са от данните между 9 юни и 9 юли, а големите – между 9 юни и 30 юли.

Не се забелязва голяма разлика. Трябва да се отбележи обаче, че повечето депутати са гласували по-малко послушно и са присъствали повече. Изключение естествено прави ДПС, които са намалили присъствието си с още 2 пункта. Типично като за пред отпуска депутатите са намалили драстично участието си във вотовете докато са били в зала – с 2-3 пункта. За сметка на това от всички партии са гласували доста по-положително на законите (с 3-4 пункта) – може би за да ги прекарат по-бързо преди ваканцията.

По партии

В разпределението на най-непослушните и най-мързеливите депутати няма големи размествания. Доган и Метин все още никой не им е виждал очите, а от ГЕРБ с най-ниско присъствие пак е Красимир Петков. С най-ниска активност по време на гласуване от ГЕРБ е Емил Димитров, а от КБ – Кирил Добрев. Пълната инфорамация за всички депутати и партии ще намерите в тази таблица.

Както забелязвате, това не са пълните данни за миналата сесия, но публикуването на индивидуалните гласове на депутатите започна едва към края й. За следващата ще имаме повече информация. Ще е интересно тези данни да се изкарат на XML файлове и да се комбинират с резултатите от проекти като PolitiKat. В обществената поръчка за новия сайт на Народно Събрание е предвидено изкарването на такива данни, но не знам дали изпълнителя въобще ще го направи. Предполагам, че ще изчакаме и ще видим. Трябва да пуснат сайта към края на тази или началото на другата година.

Впрочем интересна е и наскоро изнесената информация за нещатните сътрудници на парламента, която излезе тези дни. Дали ще получим информация за работата им?

Често казваме, че депутатите на ГЕРБ гласуват чинно закони според решенията на партията и кабинета. Друго клише, което се споменава и е вече синоним на депутат, е мързелът и неучастието в заседания. Тук обаче няма да обсъждаме причините и последствията от това ежедневие в Народното Събрание. Нещо, което аз се питам, е колко чинно гласуват депутатите в действителност, колко въобще гласуват и колко от тях са реално в залата.

Спомняте ли си, че миналата седмица споменах за разпечатките от гласуванията в парламента? А спомняте ли си, че дадох идеи, за няколко интереси неща, които можем да правим с тях? Ето една от тях – събрах всички разпечатки в една голяма Excel таблица и започнах да ги анализирам. Ето някои резултати:

По партии

Кой е по-по-най

Най-„непослушни“ от всяка партия
ТАНЧЕВ ГЕРБ 86.3% Участие 43%	ВЕЛИКОВ КБ 56.1% Участие 24%	ДАЛ ДПС 49.1% Участие 14%	ПЕТКОВ АТАКА 55% Участие 30%	АГОВ СК 77.5% Участие 21%	ВАСИЛЕВ НЕЗ 43.7% Участие 12%
Реално присъствие
ДОГАН ДПС 0%	МЕТИН ДПС 0%	ИВАНОВ ДПС 14.3%	СЕФЕР ДПС 28.6%	ПЕТКОВ АТАКА 28.6%	ПЕТКОВ ГЕРБ 28.6%
Активност при гласуване
ПЕЕВСКИ ДПС 5.6%	ЛЮТФИ ДПС 9.2%	ПАНТЕВ КБ 9.4%	МЕХМЕДОВ ДПС 9.8%	ЯНЕВ НЕЗ 9.8%	КОСТОВ ГЕРБ 10%

Интересен факт е, че всички от ГЕРБ гласуват в поне 86% от случаите в унисон с партията. При БСП и ДПС „послушността“ започва от 50-те процента, но там данните са по-неточни, заради страшно ниското им участие.

Методология

Данните, които виждате са на базата на 15 заседания между 9 юни и 9 юли. Това са тези, за които са изведени разпечатки откакто промяната в правилника на НС влезе в сила. През това време са гласувани 663 закона. Крайните резултати по партии и депутати може да свалите като таблица от тук.

Послушание

Това мерило е най-трудно за изчисление. То определя колко често даден депутат е гласувал по същият начин, както средното за партията. Много размишлявах как да сметна това и накрая се спрях на следния подход:

Първо смятам как би гласувала партията, ако беше един депутат. Това става като се изчислява вероятността за всяка възможност (Да, Не, Въздържал се) за всеки закон и се избира най-често срещаното гласуване. Ако така обаче са гласували по-малко от 60% от депутатите от тази партия законът се пренебрегва в изчисленията (т.е. все едно не са гласували). Това възприемам за линия на партията поради единомислие или просто заповед отгоре. След това, за всеки депутат се преброяват колко съвпадения има между неговото гласуване и средното за партията (освен тези, за които не е гласувал и тези под 60% на партията). Така се пресмята колко пъти се е съобразил с мнозинството от групата си.

Реално присъствие

Тук не се осланям само на списъка с неизвинени отсъствия, а на реално подадените гласове. Ако някой депутат е маркиран като присъстващ, но на практика не е гласувал нито един закон през деня, го маркирам като реално отсъстващ. Има случаи, в които някой е отбелязан с неизвинено отсъствие, но е гласувал по-късно през деня. Тези случаи не ги маркирам като отсъствия, защото вероятно депутатът е дошъл по-късно. Най-много такива отсъствия имат Доган и Метин – 15 от 15.

Активност при гласуване

Тук измервам колко закона е гласувал депутатът докато е бил в залата. Това включва дните, в които е дал поне един глас. Поради това, че някои депутати са идвали само няколко дни и са гласували по много, се получава така, че имат по-голяма активност от други, които са седели постоянно в парламента. Така депутатите на ДПС, БСП и СК имат най-ниска средна активност. Случаят с ДПС е най-фрапиращ, защото средно са гласували за по-малко от 2 закона от всеки 10.

Възможности за подобрение

На първо място, това въобще не е представителна извадка, защото от хилядите гласувани закони и десетките заседания, аз взимам само тези от последния месец. За жалост имаме данни само за тях. За щастие обаче, от тук нататък с всяка стенограма ще получаваме такива разпечатки и ще си вадим по-точни изводи.

Формулата за послушанието определено може да се подобри. Примерно може да се сметне средното на партията с вероятности, а не направо с Да/Не. Също така може да се даде тежест на гласовете – за Въздържал се х0.5, а за глас срещу този на партията – х2. Това е защото с обратен глас депутатът реално се противопоставя, а с Въздържал се – просто не им пречи. Накрая, може да се използва векторен анализ за изчисляване на разстоянието между всеки депутат, да се изчисли векторният център на партията и да е види кои депутати гласуват еднакво. В този случай елементите от векторите ще са законите. Може също така да се сметнат разликите между самите партии, за да се види коя срещу коя е гласувала. За целта обаче ще е най-добре да се напише директно скрипт – било то в Excel или направо на PHP. Това ще е доста по-лесно като излязат разпечатките на XML.

Реалното присъствие и активността може да се подобрят с включване на статистика за изказванията на всеки депутат и участието му/й в комисиите. Това обаче също ще трябва да почака докато стане новият сайт. И сега може да се анализира стенограмата, но ще е твърде трудоемко.

Направих всички изчисления с MS Excell 2010. Започнах с OpenOffice Math но се оказа, че няма функции като SUMIFS, която ми трябваха. Все пак, сега формулите са прекалено големи (десетки милиони събирания на страница) и затова в един момент така или иначе ще трябва да се пренапишат на VBasic или нещо за OpenOffice. Този път просто не ми се занимаваше. Също така може всичко това горе да се покаже с иконография, която стана доста популярен метод за изобразяване на сложна информация. Може да го направя към края на годината, когато имам достатъчно точно данни.

Изводи

Макар и непълна, надявам се, че тази статистика да събуди интереса ви към възможностите на отворените данни. С публикуваните разпечатки на гласуването на депутатите може да следим подробно всяко тяхно решение, да го свържем с естеството на гласуваният закон и да изградим профил на всеки политик. Макар че изграждането на такъв сайт би отнело време, самото изчисление и събиране на информация става автоматично. А представете си, че имахме достъп и до други такива масиви от данни, като например средната бройка болни, операции и конкретни заболявания по региони; списък с престъпленията разделени по тип и местоположение; подробна информация за харчовете на общините; напредъкът по различни европроекти и т.н.

Ако си мислите, че това е твърде много информация – не е, защото други европейски държави вече ги публикуват. Ако си мислите, че никога в България няма да получим тези данни свободно, пак ще сгрешите. Може да не е утре или вдругиден, но явно е възможно – от НС се съпротивляваха за разпечатките, но пак ги пуснаха. За статистиката от институциите обаче трябва централно решение (т.е. не на отделни чиновници действащи на добра воля) и принципна политика, която да установява реда, формата и отговорните лица за публикуването на отворени данни. Такива решения винаги се взимат от 2-3-ма човека на възлови позиции и затова трябва да ги намерим и убедим, че си струва. Това все пак е крайната степен на прозрачност, за която толкова много се говори.