Оборотная сторона 201-й эвристики

[vlkamov]

Напомню, что 201-я эвристика - это постановка задачи как бы для ее решения на ЭВМ. Действенность ее в том, что она вносит много ясности еще на предварительной стадии, собственно при постановке задачи, заставляет сформулировать цель, првести инвентаризацию имеющихся средств, разложить общее решение на отдельные решабельные задачи.

Оказалось, что 201-я работает и в другую сторону, как бы отрицательную ! Первый раз я обнаружил это явление еще до моего прихода в ЖЖ вот на этой задаче (перепост в ЖЖ):
Демон Больцмана и социальная справедливость
При явном желании о[б]судить полученный из шестистрочного кода результат, в собственно код никто полез. Правда среди ЖЖистов нашлось двое смельчаков. Один товарищ предложил подбрасывать чуток капитала извне :-). Другой изменил вероятность выигрыша с 0.5 на 0.51, все посыпалось еще быстрее, на основании чего он сделал вывод, что "решение неустойчиво" :-))))) Остальные категорически желали обсуждать только словами, в худшем случае подгоняя под любезную сердцу закономерность экспериментальный результат.

Потом была Правда и ложь о задаче коммивояжера. Здесь тоже никто не заинтересовался кодом - одно дело глубокоубежденно вещать о неимоверных сложностях, другое - своими руками получить результат. Стремно.

В сообществе cliodynamics - ну куда же ближе к теме-то !? - самой продвинутой "математикой" была вербальная интерпретация статистческих графиков. Единственный код я же и поместил, да и он Код Hamurabi на Perl'е - стариннейшая игра-стратегия. С энтузиазмом раскапывавший первоисточники вышеупомянутой игрушки yarikas (профессионал математико-экономических методов !) тоже не опубликовал ни строчки кода, которые могли бы здорово популяризовать подход.

И наконец гвоздь сезона ! Схватка титанов !! Чуров против Гаусса !!!
При просмотре же навороченных мегабайтов видно, что стороны, модулируя голос, потрясая дипломами и аттестатами, громкими именами и цывилизованными прецедентами, просто пытаются навязать аудитории то распределение, которое им кажется верным. "Математическая" дискуссия выплеснулась в СМИ ! Но даже те, что нацелены на кодирующую аудиторию, только "голосуют за Гаусса", не более. В лучшем случае общими словами рассказывают, что при случайном поступлении голосов должно получиться вот такое-то распределение ( Дмитрий Шабанов: Гауссу – верю!, Статистическое исследование результатов российских выборов 2007 — 2009 гг)

Мягкое предложение посчитать непосредственно после продолжительной паузы встретило отказ:

vlkamov 2011-12-13 04:40 am UTC Gnumeric - это ж таблица. 98 тысяч строк - явный перебор. У меня есть хобби - писать на Перле скрипты решения задач, о которых много говорят, но избегают приводить реальные числа, например http://vlkamov.livejournal.com/315109.html Если вы объясните мне, что делать, могу попробовать и ваш случай. kouprianov 2011-12-15 02:46 pm UTC Ой, прошу прощения, в этой суматохе пропустил. Спасибо большое за готовность помочь. Я, тем временем, разобрался с R -- мне объяснили, что на самом деле надо было делать и литературы подкинули, так что я эту штуку теперь довольно быстро сосчитал. Охочусь за данными по другим странам теперь -- для сравнения.

Не сомневался. Адресат предпочел помучиться с так и непонятым "статистическим аппаратом", зато от авторитетного "специалиста". Осталось только подобрать "специалиста" нужной ориентации.

И тут высунулся известный сетевой радикал lleo. Он просто выложил скрипт из -надцати строк, среди которых вся хитромудрая статистика в явном виде изложена в одной строке, не содержащей супер-пупер математики
http://lleo.me/dnevnik/2011/12/13.html
Хуже того ! - предложил сомневающимся внести свои изменения и дополнения и публично показать что не гаусс. НИ ОДИН НЕ РИСКНУЛ !

В своем посте lleo коменты запретил - "пишите код", но ссылка мигом разлетелась по блогам. Например dz посвятил ей аж пять постов, правда сам тоже забоялся - это не оси писать. Зато комментов туда навалили сотни. Я было попытался подтолкнуть отдельных товарищей к прямым действиям, но тоже безуспешно. Большинство скромно промолчали, другие "занепонимали", у третьих случился приступ диареи. Что же расслабило сфинктер засранца dimorlus ? Там, в пятом-десятом комменте он посылает меня в школу. Bingo ! lleo'вский скрипт может понять "и мореплаватель, и плотник, и академик", и школьник. Таким образом вердикт опеределяется не мнением краснодипломированного "специалиста", а вычислениями. Это уже не привычная схватка за место в иерархии, а вообще выдернули жердочку. Поневоле обгадишься.

PS. Со стороны хорошо видно, что в Рунете моментально сформировалась "двухпартийная система". Как и в оффлайне, пока гауссцы лают чуровцев, а те уныло, но весомо отбрехиваются, хитровцы шныряют в толпе и ловко срезают кошельки увлеченно митингующих граждан. Истина сидит в сторонке.

Update. ЖЖ юзер kouprianov самостоятельно освоил Perl, собрал данные, написал скрипыт и даже получил графики ! См. его журнал за янв-фев 2012.

Comments

[kouprianov.livejournal.com]

Спокойствие ) Жернова божии мелют не скоро, но верно.

Напрасно Кузнецов и Каганов берут размер участка с потолка. Основная масса участков укладывается в пределы пошире -- от ~20 до ~3000. Поскольку Вы любите и умеете писать скрипты, проверьте Кагановский скрипт для области участков размером от 1 до 3 тыс., количество участков -- 40 тыс. Интересно, сохранится ли пик на 75%. Буду рад видеть картинку и пояснения.

Начнем благословясь

[vlkamov.livejournal.com]

$КОЛИЧЕСТВО_УЧАСТКОВ = 40000;
$СПИСОЧНАЯ_ЧИСЛЕННОСТЬ_ИЗБРАТЕЛЕЙ_НА_УЧАСТКЕ = 1000;

Так ?

[kouprianov.livejournal.com]

Можно ли сделать численность избирателей на участке случайной целочисленной величиной, варьирующей в пределах от 1 до 3 тыс. (N=floor(rand(1000,3000));)? Если ее проще сделать постоянной, то я бы остановился на 2000.

[vlkamov.livejournal.com]

#!/usr/bin/perl
#gauss.pl

$КОЛИЧЕСТВО_УЧАСТКОВ = 40000;

foreach $i (1..$КОЛИЧЕСТВО_УЧАСТКОВ) {
$СПИСОЧНАЯ_ЧИСЛЕННОСТЬ_ИЗБИРАТЕЛЕЙ_НА_УЧАСТКЕ[$i] = 1000 + int(rand(2000));
}

foreach $i (1..$КОЛИЧЕСТВО_УЧАСТКОВ) {
$ВСЕГО_ИЗБИРАТЕЛЕЙ += $СПИСОЧНАЯ_ЧИСЛЕННОСТЬ_ИЗБИРАТЕЛЕЙ_НА_УЧАСТКЕ[$i] ;
}

print $ВСЕГО_ИЗБИРАТЕЛЕЙ, "\n";

exit;

Несколько запусков дали такие результаты

80155670
80002734
79993464
79994466
80062967
80198044
80313466
80068173
79978845
80058858
79969562

[kouprianov.livejournal.com]

Нам не нужно "всего избирателей" (как и общая явка по больнице). Нам нужны явки (t=v/e) по каждому из 40 тыс. участков (каждый участок размером от 1 до 3 тыс. чел. списочного состава избирателей (e), от которого приходит какая-то случайная доля (v)) и гистограмма / частотная таблица по ним.

В каждой итерации от 1-й до 40000-й
Ei должно случайно варьировать от 1000 до 3000
Vi должно случайно варьировать от 0 до Ei

В результате хотелось бы видеть табличку в два столбика (E и V) по 40 тыс. строк каждый, или один столбик T=V/E (но и в нем -- 40 тыс. значений).

Но и это не конец. Эту операцию хорошо бы повторить, скажем, сотню раз, а затем посмотреть, что происходит с "красивыми" явками в диапазоне 0,65--1,0. Бывают ли вообще и "держатся" ли пики на значениях 0,67 0,75 0,8 и т. п. Полагаю, что человеку, "пишущему скрипты", провести все это численное моделирование и соответствующие расчеты несложно (в отличие от всех тех, кто так и не понял статистический аппарат).

[vlkamov.livejournal.com]

Первый опыт
http://lj.rossia.org/users/vlkamov/121619.html

Сейчас сделаем два столбика. Но сразу предупреждаю, функция rand дает равномерное распределение. Реальная явка была неравномерна. Кстати, участки нарезали тоже неравномерно.

И почему 40 тысяч, ведь участков было >90 тыс. ?

[vlkamov.livejournal.com]

два столбика
http://lj.rossia.org/users/vlkamov/121619.html?view=29203#t29203

[yarikas.livejournal.com]

В последнем (sic!) посте в ЖЖ (уже перебрался на DreamWidth (http://fregimus.livejournal.com/181111.html?format=light)) был повторно поставлен вопрос о том, чего же Вы желаете увидеть. Теперь становится более понятно - код прикладных программ обсчёта социоэкон. моделей.
Лично я не уверен в необходимости выкладывания кода в блоге (даже в архиве) - наглядней, на мой, повторюсь, взгляд, формулы и графики.
Похоже, этого мнения касательно кода в ЖЖ придерживаюсь не только я.
Удобной была бы поддержка площадкой математических формул в стиле TeX (если уж гугл умеет рисовать графики (http://habrahabr.ru/blogs/google/134058/)). Знаете ли Вы такие площадки?

[vlkamov.livejournal.com]

Повторно же и отвечаю.
Желаю увидеть наступательные действия научников в познании общества.

К сожалению в гуманитарных "науках" правят бал шарлатаны.
Это стало опасно для общества. Конечно, вы и ваши коллеги могут сделать вид, что сидите и примусы починяете. Но так уж получилось, что вы уже выбрали эту опасную область деятельности и уйти в металлоремонт просто не успеваете.

К еще большему сожалению, жонглирование формулами, тоже стало шарлатанством, поскольку стали выбирать подходящие формулы. Но именно формулы отождествляются с математическим подходом - массовое заблуждение вроде "Солнце крутится вокруг Земли". Код же, если открытый, невозможно "сшарлатанить". Ксиати, Коперник продвигал гелиоцентрическую систему "всего лишь" как более удобную для расчетов метафору.

Второе направление - массовая аудитория. Массы просто не догадывются о вашем существовании. Засилье бла-бла аналитиков и финансистов в дуроскопе. И даже в тех редких случаях, когда Малинецкий и Ко. попадают на страницы СМИ или под объектив, это выглядит как еще "одна говорящая голова". Отличить вас от ал-экономистов непосвященный не в состоянии.

Третье направление - жгучие проблемы. Ничего не поделаешь, уровень шума очень высок, чтобы привлечь внимание нужно поднять большую волну. И ведь такие темы есть ! Графики сами по себе не колышут, но если это график, иллюстрирующий вбрасывание избирательных бюллетеней ... Тогда обостряется интерес и к методам.

Площадка. Налет "реформаторов" на ЖЖ неслучаен. ЖЖ благодаря комплексу своих изначально заложенных возможностей стал питательной средой для распределенного интеллекта. Одноклассники, при куда как большей численности аудитории, таковой средой не стали - нет необходимых фич. Теперь лжюзеры разбегаются по альтернативным площадкам, ЧТД. Аналогичная история с википедией: уже и сам основатель ищет повод для ее закрытия, а то ведь пойдет вслед за Ассанжем, или того хуже - за педофилию.

Сеть же в целом додумалась, или говоря старорежимным языком совершила открытие: были локализованы реальные хозяева. Это оказались не ООН и даже не Белый дом. Но Сеть в целом закрыть пока невозможно, хотя работа ведется. Как-то просматривал работу по моделированию эконмики одного нефтяного регионов (ЯМАО, ХМАО - не помню уже). И вот там авторы рассказали, что никак не могли зафиксировать субъект "банки", не поределялись его свойства и реакции на возмущение. При тщательном изучении оказалось, что нет "банков вообще". Слово одно а вещи разные. Зато определенность резко выросла, когда выделили отдельно:
1) Сбербанк
2) региональные банки, которые собственно и занимаются банковской деятельностью (кредиты, расчеты etc.)
3) "московские" (sic !)/ - это биржевые/фондовые спекулянты, рейдеры etc.
И тогда модель заработала.
Это было запрятано в середине 4-хмегабайтно

А формулы в TeX'е и гуглографики неинтересны ни мне, ни общественности - это сугубо ваше внутреннее дело

[vlkamov.livejournal.com]

... было запрятано в середине 4-хмегабайтной монографии, непостижимой для публики. Хотя, казалось бы - вот ссылка, выложено свободно. Качай и читай. А какой бы был скандал, если бы удалось довести до населения сумму ущерба ...

[yarikas.livejournal.com]

Ну, прежде всего, спасибо за развёрнутый ответ. Аргументация понятна, хотя не разделяю Ваш оптимизм по поводу кода: придётся объяснять не только ОДУ и ур.маты, но ещё и выч.маты (почему используется та или иная сетка - сходимость, устойчивость и т.п.)

> А формулы в TeX'е и гуглографики неинтересны ни мне, ни общественности - это сугубо ваше внутреннее дело

Вы невнимательны: речь шла не о формулах в ТеХ'е, а об инструменте (викиблоге), позволяющем достаточно просто размещать такие формулы в тексте и строить по ним графики. Уверяю Вас, формулы значительно читабельней кода и более просты в понимании (по крайней мере на качественном уровне). Ошибки в них тоже проще искать (замена плюса на минус уже может дать совершенно другие результаты).

> ... было запрятано в середине 4-хмегабайтной монографии, непостижимой для публики. Хотя, казалось бы - вот ссылка, выложено свободно. Качай и читай. А какой бы был скандал, если бы удалось довести до населения сумму ущерба ...

Если найдётся линк на 4Мб монографию - киньте, или саму её выложите на файлообменник. Что-то мне подсказывает, что кода там тоже нет. Увы, у меня тоже кода к большинству не моих работ попросту нет - пришлось бы заново писать - в отличие от формул-графиков. Хотя Ваши чаяния о возможности проверки таких научных публикаций (открытости кода) разделяю, но сейчас, как правило, мало кто раскрывает "секреты фирмы" (даже пути получения решения из уравнений) из-за конкуренции между научными группами за гранты и т.п. финансирование.

Даже хуже с источниками: не все статьи можно достать (разве что напрямую попросить у автора), ибо за получение доступа к бОльшей части зарубежных журналов приходится платить $.

Вы безусловно правы, что такое сокрытие информации под "информационной поверхностью" (на которой донцовы, дом-2 и прочие сиськи-письки) и есть "раз_общение (http://yarikas.livejournal.com/47611.html?format=light)" ("разделяй и властвуй").

> Засилье бла-бла аналитиков и финансистов в дуроскопе.

Дело в том, что их "мнения" большинству людей и не нужны: они обрабатывают "инвесторов" (надо ли пояснять как устроена пирамида лохотроха?). Ойналитегов много - синтетиков мало :/ Если Вы полагаете, что это "вчера" началось, то сильно заблуждаетесь: история редукционизма насчитывает тысячелетия :( Стоит ли на этом поле конкурировать (http://yarikas.livejournal.com/65484.html?format=light)? Не стоит ли начать с повышения базовой подготовки каждого слушателя (http://physics-of-molecules.odessit.org/history/personalia/acad_glushkov/derkach/Filmy.htm), дабы мог самостоятельно отделять козлищ от плевел? Для большинства сейчас, что код, что формулы (да и графики как правило) - всё "жонглирование", ибо нет понимания.
Распределённому интеллекту определённо уже нужна другая питательная среда - другой инструмент общения (http://asterrot.livejournal.com/300428.html?thread=11543180&format=light#t11543180) и выработки коллективных решенений.
Как математики и матлабы сделали возможным численное решение уравнений без программистов, как аппаратно-программный комплекс "Мир (http://ru.wikipedia.org/wiki/МИР)" позволял решать инженерные задачи самим инженерам (http://dmi3s.blogspot.com/2011/04/ii.html#013), а не обращаться к помощи богов-программистов.

IT вообще взяли направление не в туда - это сейчас отдельная область окучивания бабла: списания с доходной части - уход от налогов на неё - запись в расходную, а потом перевод в "активы", типа "с новым (переписанным с COBOL на Java со всеми вытекающими требованиями к аппаратной части (http://expert.ru/expert/2009/10/pohozhe_na_sumasshedshiy_dom/)) софтом мы выглядим для акционеров более привлекательно!" - акции вверх - под это берём ещё кредиты и т.д. по кругу...

[vlkamov.livejournal.com]

книжка
http://narod.ru/disk/35295362001/model_regiona.zip.html

Вроде она, 7 лет прошло ...

[yarikas.livejournal.com]

thx!