Архив статей Андрея Роговского

Ударим СтрайкПостом по разгильдяйству Почты России!

admin — Sat, 26 Mar 2011 18:36:35 +0000

Как я и обещал, был создан сайт направленный против забастовки почты России, (а именно так можно оценивать ее работу), с символическим названием СтрайкПост.

На этом сайте планируется собрать жалобы о качестве работы, пропавших или вскрытых посылках, сканы обращений и самое главное — законные методы воздействия на эту ситуацию. Сейчас пока все еще сыро, но самое главное — и сервер и домен вне зоны влияния силовых структур РФ и сайт просто так не закроют.

Конечно, один бы я не справился и мне помог adubovskoy, за что ему большое спасибо. В скором времени там будет доступна многоязычность, тексты заявлений и руководства к действию.

Любые предложения и замечания принимаются с благодарностью!

Сейчас сайт размещен на моем сервере в виде VDS, прежний хостер — stormondemand.com на котором лежал сайт не выдержал хаброэффекта. Как верно подметили в одном из камментов — хостинг за 15$ хаброэффекты не держит.

Как я покупал джойстик для Xbox-360

admin — Sun, 20 Mar 2011 18:39:23 +0000

Решил я купить еще один джойстик, чтоб играть вдвоем — веселей. А в комплекте изначально идет только один.
Сначала я зашел в ЦУМ и узнал что там хотят за этот геймпад 530 гривен — примерно 65$. Затем, уже дома, я погуглил и нашелболее приемлемое предложение — 365 гривен или ~45$. Да, неплохо в магазинах накручивают — вероятно за аренду.
А потом я погуглил на английском языке (учите его, это очень полезно) и нашел китайскую подделку за 30$.. Я все-таки рискнул и заказал самый дешевый вариант.
Вчера я получил наконец этот геймпад, и оказалось что во-первых он рабочий, что самое главное, а во-вторых — не подделка, все работает как у оригинала, в том числе и вибрация. Единственная разница — в наклеечке, которую видно там ставят навроде акцизных марок.

Так вот — если брать оптом, то их там отдают по 28$. А у нас в магазинах чуть ли не трехкратная накрутка. И если посмотреть — так во всем. Такой вот отечественный бизнес.

Пользуетесь PHP на 64-х битной платформе? Значит потеряли в производительности!

admin — Sat, 20 Nov 2010 07:09:05 +0000

По идее, эта статья должна была выйти в блоге «Linux для всех». Однако, данная проблема не проявила себя в аналогичных тестах на python и perl, а следовательно специфично-зависимая от PHP и разрядности платформы. А так PHP у нас прежде всего связан с сайтами, то и блог соответствующий — хостинг.

Внимание! Следующий текст содержит сцены насилия фрагменты исходного кода и может нанести неисправимый урон вашему мозгу и разрушить веру в человечество linuxphp.

Все началось с жалобы на то, что под 64-х битной архитектурой следующий скрипт на PHP работает катастрофически медленно:

$cnt=0; while ($cnt++<5) {


echo '----- TEST #'.$cnt.'-----

';
echo 'start FOR & WHILE testing

';
$start = microtime(1);

for($i=0;$i<3000000;$i++) {}

$end = microtime(1);

$time = $end - $start;

echo $time.' for($i=0;$i<3000000;$i++) {}

';
$start = microtime(1);

$i=0; while($i++<3000001) {}

$end = microtime(1);

$time = $end - $start;

echo $time.' while($i++<3000001) {}

';
$start = microtime(1);

$i=0; while($i<3000000) {$i++;}

$end = microtime(1);

$time = $end - $start;

echo $time.' while($i<3000000) {$i++;}

';
$start = microtime(1);

$i = 0;

while ($i<3000000): $i++; endwhile;

$end = microtime(1);

$time = $end - $start;

echo $time.' while ($i<3000000): $i++; endwhile;

';
echo '
start a.=b & a=a.b testing

';
$a = NULL;

$b = 'Довольно длинная строка, символов эдак 40';

$start = microtime(1);

for($i=0;$i<3000000;$i++) {$a = $a.$b;}

$end = microtime(1);
$time = $end - $start;

echo $time.' for($i=0;$i<3000000;$i++) {$a = $a.$b;}

';
$a = NULL;

$b = 'Довольно длинная строка, символов эдак 40';

$start = microtime(1);

for($i=0;$i<3000000;$i++) $a = $a.$b;

$end = microtime(1);

$time = $end - $start;

echo $time.' for($i=0;$i<3000000;$i++) $a = $a.$b;

';
$a = NULL;

$b = 'Довольно длинная строка, символов эдак 40';

$start = microtime(1);

for($i=0;$i<3000000;$i++) {$a .= $b;}

$end = microtime(1);

$time = $end - $start;

echo $time.' for($i=0;$i<3000000;$i++) {$a.=$b;}

';
$a = NULL;

$b = 'Довольно длинная строка, символов эдак 40';

$start = microtime(1);

for($i=0;$i<3000000;$i++) $a .= $b;

$end = microtime(1);

$time = $end - $start;

echo $time.' for($i=0;$i<3000000;$i++) $a .= $b;

';
$a = NULL;

$b = 'Довольно длинная строка, символов эдак 40';

$start = microtime(1);

$i=0; while($i++<3000001) {$a.= $b;}

$end = microtime(1);

$time = $end - $start;

echo $time.' while($i++<3000001) {$a.= $b;}

';
$a = NULL;

$b = 'Довольно длинная строка, символов эдак 40';

$start = microtime(1);

$i=0; while($i++<3000001) $a.= $b;

$end = microtime(1);

$time = $end - $start;

echo $time.' $i=0; while($i++<3000001) $a.= $b;

';
}

?>

Действительно, такая проблема присутствует в php5.2, что было проверено на различных дистрибутивах. Следовательно — проблема действительно была связана с разрядностью. Однако, испытав аналог подобного кода на других интерпретаторах, было выяснено — подобной проблемы там нет.
Соответственно — это была исключительно проблема самого PHP, которая проявляла себя именно на 64-х битах. Но почему же настолько сильно, тысяча чертей?

Был произведен запуск со strace, который на i386, PAE и x86_64 выдавал различные значения:

i386 mmap
PAE mremap (что в логично, это mmap с флагами)
x86_64 brk и mmap (а вот зачем brk?)

Что же такое этот brk, почему он так влияет на скорость работы php и как избежать подобных ситуаций?
Прежде всего отмечу, что картинка к топику — кликабельная и ведет на фундаментальную статью, которая раскрывает все подробности работы с памятью. Однако она очень сложная и на английском языке. Если кратко — то brk позволяет изменить размер выделенной памяти вместо откусывания куска через mmap, что сокращает ее фрагментацию.

Но как видно — эта операция очень затратна, и сокращение используемой памяти вызывает настолько большой оверхед, что этим лучше пренебречь. Особенно если речь идет о хайлоаде — скорость отклика значительно важнее, чем экономия памяти.

Так почему же на i386 мы используем только mmap, в то время как на x86_64 туда проникает brk? Для ответа на этот вопрос обращаемся к первоисточнику — malloc:
Normally, malloc() allocates memory from the heap, and adjusts the size of the heap as required, using sbrk(2). When allocating blocks of memory larger than MMAP_THRESHOLD bytes, the glibc malloc() implementation allocates the memory as a private anonymous mapping using mmap(2). MMAP_THRESHOLD is 128 kB by default, but is adjustable using mallopt(3).

Теперь все стало на свои места — для x86_64 MMAP_THRESHOLD был увеличен, что и привело к такому интересному результату, связанному по всей видимости с очень хитрым сборщиком мусора в PHP, который в данном случае обхитрил сам себя.

А для того, чтоб вернуть вызов malloc как и в i386, надо вернуть старые значения. Это можно сделать поменять глобально, собрав glibc, что нежелательно или сделать выборочно для процесса, указав в переменных ядра старое значение (если конечно glibc собран с поддержкой этой опции):
export MALLOC_MMAP_THRESHOLD_=131072

Если вставить эту магическую строку в init скрипт apache, то вы можете получить прирост в скорости и больший расход по памяти. Разумеется, это актуально не только для php, но возможно и для многих других программ, когда разработчики вызывая malloc подразумевали mmap.

P.S. Тест лучше запускать с консоли.
strace php -f qq.php даст одну картину
MALLOC_MMAP_THRESHOLD_=131072 strace php -f qq.php даст совершенно другую, конечно если у вас 64 бита.

Что вы можете реально сделать за 1000 рублей или ошибки фрилансеров

admin — Sat, 23 Oct 2010 17:11:53 +0000

Хочу подвести итоги конкурса, который я когда-то давно попросил опубликовать одного моего знакомого odessky.
Прежде всего хочу сказать, что это конечно же был социальный эксперимент, в котором я попытался изучить типичные ошибки фрилансеров, чтоб избегать их в дальнейшем самому.

А задания были вот какие:

Создание сайта-визитки crossolt
Фото сессия от Assargin
Хабропицца — andorro
Провокационный видеоролик от alexkl
Фото недостроенной АЭС от neochapay

Напоминаю, что за каждое задание я оценивал в 1000 рублей. Ну а теперь — результаты и выводы.

От создания сайта-визитки я ожидал простое оформление и 3-5 стандартных страниц (Главная, О нас, Контакты и т.д.). Результатом сначала был шаблон, где текст главной был вставлен в обновление, потом поплыла верстка. В результате crossolt предложил мне сделать сайт на ukoz, что мне не подошло, после чего — пропал. Это одна из тактик фрилансера — взять на себя проект, знаний для которого недостаточно и потом попытаться убедить заказчика внести изменение в ТЗ под себя. Работает только с недалекими заказчиками, которые не в теме.

Assargin честно выполнил фото сессию, хотя он не смог сделать полностью, что обещал, он тем не менее технически выполнил все как договорились + проявил творческий подход. Я доволен и собираюсь выложить фотки зимой, когда они будут особенно интересны.

А вот с andorro вышло хуже. Сначала он не отвечал, хотя я выждал неделю — это вполне достаточный срок. Затем, после напоминания прислал всего 2 фотографии, мотивируя тем, что фотограф остальные стер. Тут уже можно сделать вывод — если ты, фрилансер, запорол задание, то наберись мужества и сообщи об этом сразу, и предложи свои варианты для решения этой проблемы. Попытки затягивания ответа выставляют тебя в худшем варианте.

С провокационным роликом, который должен был снять alexkl ничего не вышло, но к чести alexkl могу сказать то, что он отказался получать 100% предоплату. И действительно, если есть сомнения в своих силах — лучше не брать предоплату.

Ну и наконец фото АЭС, которые должен был сделать neochapay. Сначала я получил сообщение, о том что он будет месяц в командировке, через месяц написал повторно — и получил в ответ цельное ничего. Откуда следует вывод, что когда заказчики не хотят вносить 100% предоплату — на это есть определенные причины.

Надеюсь, этот небольшой эксперимент пойдет всем нам на пользу — как фрилансерам, так и заказчикам.

Будьте счастливы и приятных выходных!

Стив Джобс: «Я — Дартаньян, а вы…»

admin — Wed, 22 Sep 2010 17:16:54 +0000

Как известно, у яблочной компании множество фанатов, что гарантирует ей процветание и продажу своей продукции, сделанной умелыми руками китайцев, по более высоким ценам, чем конкуренты.
Это был выбор, и сознательная работа на удовлетворение клиента. Но клиенту нужен не только товар, ему еще нужна и поддержка, и сервисное обслуживание.
К сожалению, многие крупные компании, наращивая свои отделы все новыми и новыми менеджерами, забывают о росте техподдержки. И там по прежнему работают два с половиной человека, как это показано в одном известном сериале.
Увы, и Apple не стала исключением. Однажды одна настырная студентка стала задаватьслишком много вопросов по поводу использования продукции Apple для образовательных целей.
Не получив ответа, она написала Стиву Джобсу, на sjobs@apple.com. Ответы были такие:

У нас более 300 миллионов пользователей, и мы не можем ответить на их просьбы, если они связаны с какой-то ерундой. Извините.
Пожалуйста, оставьте нас в покое.

Те, кто рос при СССР, наверное еще помнят хамство советских продавщиц, высокомерно обсчитывающих покупателей — Вас много, а я одна.
Теперь Apple из яблочной компании становится совковой. Что в прочем не удивительно.

Защита от DDOS атаки случайными аргументами при помощи Nginx

admin — Mon, 20 Sep 2010 17:21:01 +0000

Я встретился с новым типом ботнета. Если старый долбил только в главную, то новый действует иначе. Он посылает множество запросов вида
GET someurl/?t1555ss5326=5326, где someurl — найденный ботом php скрипт.
Но если атакуемый сайт поддерживает ЧПУ, то такие запросы к нему должны отсутствовать в принципе. ЧПУ сейчас является стандартом де-факто, по этому можно смело отрезать такие запросы, логируя IP ботов.
Для этого очень удобен nginx, и его переменная is_args, которая имеет значение «?», если в URI идут аргументы. Базовая конструкция выглядит так:

if ($is_args = "?") { return 403 444; }
Очень просто и красиво, правда?
Вот как выглядит LA после включения этой защиты:
load average: 1.50, 3.09, 6.96
Текущий ботнет из ~20000 зомби, делают 5-8k одновременных запросов.

Кто же он такой, отечественный IT-лидер?

admin — Tue, 14 Sep 2010 06:00:05 +0000

Все больше и больше IT-компаний озабочены поиском руководителей, так называемых IT-лидеров, или просто — специалистов на руководящую должность (proof).
Но что именно вкладывают в понятие IT-лидера компании и почему их поиски не приносят желаемых результатов? Ответ смотрите сегодня вечером на канале ТНТ!
А если серьезно, то на лицо идет явное нарушение логики в требованиях к знаниям иумениям. И сейчас я объясню, почему.

Итак, прежде всего сам специалист. К нему сразу 2 требования — быть в курсе современных технологий и способов их применений, и уметь руководить людьми.
Однако, сразу возникает вопрос, а почему такой специалист идет работать наемным сотрудником? Ведь он может сам организовать свой бизнес. Он в курсе что делать и как общаться с программистами.
Тут может быть единственный вариант сотрудничества — это партнерство, когда кроме высокой зарплаты, IT-лидер получает опционы, как это делается в крупных зарубежных компаниях. Его вклад в работу подобен банковскому счету — если он работал хорошо, то он получает отчисления от компании, которые значительно больше ЗП, и главное — к его мнению прислушиваются не только подчиненные, но и непосредственные руководители.
Если сравнить создание IT-проекта со строительством дома, то обычные программисты являются строителями, строящими модуль за модулем код, а IT-лидер — строительной фирмой, которая обеспечивает архитектурный проект, утверждение и контроль за его постройкой.

Однако в сфере отечественных IT-компаний, особенно тех, которые работают на аутсорс, а таких — большинство, в термин IT-лидера вкладываются совершенно другие понятия.
Прежде всего, ни о какой свободе выбора или высказывании своего мнения и речи быть не может. Руководитель, общаясь непосредственно с заказчиком, на самом высоком уровне, собирает общие представления о требованиях, которые потом будут уточняться по мере хода работы.
И от IT-лидера требуется создать проект, по нечеткому ТЗ, которое еще и будет несколько раз изменено.
В этом случае IT-лидер выполняет роль прораба, а руководство с заказчиком — роль сумасбродной блондинки, которая заказала ремонт в своей квартире, «так чтоб было по-европейски гламурненько, а по цене — дешевенько».
И начинается. Сегодня — «Хочу стены розовые». Завтра — «Я передумала, хочу золотые обои». Послезавтра — «Нет, пусть будет белая штукатурка, я сама разрисую по-феншую».
В действительности, руководитель такой компании, чистый менеджер, не понимает почему нужно так кардинально менять код, как и не понимает блондинка, почему подготовка стен под обои или краску требует разных грунтовок и шпаклевки.
Да они и не хотят понимать, они платят деньги, а ты, IT-прораб выкручивайся как хочешь. И объясняй уставшим программистам, почему в очередной раз изменился алгоритм программы и что теперь надо менять.

Таким образом, на современном рынке IT, больше всего затребован прораб-телепат с навыками пророковедения, способный прочитать мысли заказчика на расстоянии и предвидеть возможные изменения, чтоб изначально подойти к проекту таким образом, чтоб он был завершен в срок и удовлетворил заказчика.

Идеальный эксперт или гороскопы на службе ERP

admin — Fri, 10 Sep 2010 05:53:42 +0000

А вы пробовали когда-то делать системный анализ гороскопов? Я пробовал и нашел, что все эти советы дает Капитан Очевидность и они носят универсально-рекомендательный характер.
Например: Хабролюдям сегодня стоит приложить усилия для успешного завершения начатого дела, это может принести успех, но остерегайтесь возможных ДТП, особенно после обеда.

Разберем этот пример. В пятницу очень хорошо закончить запланированный этап работы, чтоб отдыхать со спокойной совестью. А вести себя внимательно на дорогах — это актуально всегда.

Так вот, однажды один владелец крупной компании захотел себе ERP. Но не простую, как у всех, а которая реально помогает управлять предприятием. Вводишь в нее цифры — а она говорит тебе, что надо сделать.

Казалось бы, идея не реальная, но… Я вспомнил за программу генерации гороскопов. Только вместо дней недели меня интересовала дисперсия по введенным числам, а точнее говоря — прибыль (или убыток) компании на этап ввода данных.

Если компания выходила с прибылью — программа выдавала нечто: Стратегия по укреплению основных сегментов влияния выбрана успешна. Рекомендуется направить усилия на получение новых направлений.
А если был убыток, то: Вероятно, что в отдел сбыта конкуренты внедрили своего человека, проводящего диверсионный метод работы. Рекомендуется усилить контроль.

Спустя пол-года в компании все знали, что у владельца есть чудо-программа, которая может предсказывать будущее, увольнять плохих сотрудников, указывать на недочеты и даже, о чудо, посоветовать на день рождения компании: Сегодня подходящий момент для корпоративного события, в котором должны участвовать все сотрудники.

Разумеется, дата создания компании была вбита в программу, но дело не в этом. Компания уже существует шестой год и она очень успешная. Казалось бы парадокс — доверить управление генератору случайных чисел?

Однако сам психологический факт, того что есть программа, которая может вычислить недобросовестность или лень, риск быть уволенным перед всемогущим компьютерным разумом, действует на сотрудников гипнотически, держа их в постоянном тонусе.

А вы когда-то писали нечто грандиозное, в основе которого лежит генератор случайных чисел?

Как сделать облачный (кластерный) хостинг за пару копеек

admin — Tue, 24 Aug 2010 17:28:46 +0000

Три года назад у меня была интересная задача. Необходимо было собрать платформу, объединявшую несколько стоек с серверами в единое целое, для динамического распределения ресурсов между сайтами написанным для LAMP платформы. Причем так, чтоб вмешательство в код сайтов было минимальным, а еще лучше — вообще отсутствовало.
При этом никаких дорогих решений вроде Cisco Content Switch или дисковой полки с оптоволокном использовать нельзя — не хватало бюджета.
А кроме того, разумеется, в случае выхода одного из серверов из строя — это не должно было влиять на работу платформы.

Голь на выдумки хитра

Прежде всего нужно разделить создание платформы на подзадачи. Сразу понятно, что придется что-то делать для синхронизации данных, так как общий диск недоступен. Кроме того, необходимо балансировать трафик и иметь по нему кое-какую статистику. Ну и наконец, автоматизация предоставления нужных ресурсов — это тоже достаточно серьезная задача.

Начнем с начала, да прибудет со мной КО

У меня был выбор, на чем организовать платформу. Это OpenVZ и XEN. У каждого есть свои плюсы и минусы. OpenVZ имеет меньший оверхед, работает с файлами а не блочными устройствами, но не умеет запускать что-то кроме Linux’овых дистрибутивов. XEN позволяет запустить и Windows, но более сложен в работе. Я использовал OpenVZ, так как это более подходило для решения задачи, но вас-то никто не ограничивает в выборе.

Затем я разделил сервера на места под VDS, по одной на каждое ядро. Сервера были разные, по этому у меня был набор от 2-х до 16-и виртуалок на каждом из серверов. В «среднем по палате» вышло ~150 виртуалок на стойку.

Как синхронизацировать данные

Следующий пункт — это оперативное создание VDS по требованию + защита от поломки любого сервера. Решение было простым и красивым.
Для каждой VDS создается начальный образ в виде файлов на LVM разделе. Этот образ «разливается» по всем серверам платформы. В результате мы имеем бекап всех проектов на каждом сервере (параноики плачут от умиления), а создание новой VDS «по запросу» упростилось до снапшота с образа и его старта в виде VDS (дело буквально нескольких секунд).

База и API

Если с целостностью файлов было все просто, то вот с синхронизацией базы дело обстояло хуже. С начала я попробовал классический пример — master-slave, и столкнулся с классической проблемой: slave отставал от master (да, и спасибо за репликацию в один поток, очень большое спасибо).
Следующим шагом был Mysql-Proxy. Как сисадмину, мне подобное решение было очень удобным — поставил и забыл, только конфиг обновлять надо при добавлении/удалении новых VDS. Но у разработчиков было свое мнение. В частности, то, что проще написать некий класс PHP для синхронизации INSERT/UPDATE/DELETE запросов, чем изучать Lua, без которого Mysql-Proxy бесполезен.
Результатом их работы стал так называемый API, который умел находить соседей широковещательным запросом, синхронизироваться до актуального состояния и информировать соседей о всех изменениях с базой.
Но все же стоит изучить Lua и сделать нативный режим работы, когда все запросы будут синхронизированы с соседями.

Слава FreeBSD

Балансер — это можно сказать ключевой аспект платформы. Если упадет балансирующий сервер, то вся работа не будет иметь никакого смысла.
Именно по этому я использовал CARP для создания отказоустойчивого балансера, выбрав FreeBSD в качестве ОС и Nginx в качестве балансера.
Да-да, дорогущий NLB был заменен двумя слабыми машинками с FreeBSD (маркетологи в ярости).

И самое главное — как это работало

При старте платформы для каждого сайта запускалось по одной копии и monit на баланесере следил, за тем, чтобы первичная копия всегда работала.
Кроме того на балансере был установлен анализатор статистики Awstats, который предоставлял все логи в удобном формате, а главное — там был скрипт, опрашивающий каждую VDS по SNMP на предмет ее нагрузки.
Как мы помним, я выделял на каждую VDS по одному ядру, следовательно Load Average в 1 — это будет нормальной нагрузкой для VDS. Если LA становился 2 или выше — запускался скрипт, создающий копию VDS на случайном сервере и прописывал ее в апстрим nginx’а. А когда нагрузка на дополнительной VDS падала меньше 1 — соответственно, все удалялось.

Резюмирую

Если взять стойку с серверами и свитчем поддерживающим CARP протокол, то для создания облачного хостинга будет необходимо:

Изучить Lua и настроить прозрачную синхронизацию через Mysql-Proxy
Прикрутить биллинг для учета дополнительных копий VDS и трафика
Написать веб-интерфейс для управления VDS

Что бы вы сделали за 1000 рублей?

admin — Fri, 09 Jul 2010 05:51:50 +0000

Знаю, что хабралюди очень талантливые и разносторонние. Так уж сложилось, что у меня есть около 9000 рублей на яндекс.кошельке и я хочу ими заплатить девяти хабражителям за какую-то работу. Понимаю, что сумма очень маленькая и даже оскорбительная для большинства, но попробуйте понять меня правильно — это своего рода попытка показать то, чем хабралюди отличаются от обычных фрилансеров, а именно — творчеством и ответственностью (я надеюсь).

Правила очень просты. Вы пишите, какую работу готовы выполнить за 1000 яндекс.рублей, мы оговариваем все детали тут, у всех на виду, и в случае согласия я сразу перевожу деньги на ваш счет, ожидая в оговоренный срок получить выполненную работу. Или обмануть меня, разбогатев на 1000 рублей и испортить свою карму (настоящую).

Список работ, которые я оплатил — под катом

Создание сайта-визитки студии «Добродетель», делающая бесплатно сайты для детских домов. crossolt
Фото сессия от Assargin
Хабропицца — andorro
Провокационный видеоролик от alexkl
Фото недостроенной АЭС от neochapay