Анализ результатов тестирования производительности

Писал свой отзыв о конференции QA Dnepr Mini Conf. И вот добрался написать про то, о чем там рассказывал.
Предлагаю рассмотреть на примере анализ результатов тестирования производительности.

Итак, допустим наша система позволяет покупать электронные товары. Банально, но просто и востребовано. И у нас есть простой скрипт, который эмулирует с разной долей вероятности покупает товар того или иного типа. Одним пользователем за раз. Это не просто пример, а настоящий тест на живой системе.

Для простоты собираем:

• Время отклика
• Хронологию отсылки запросов (календарное время)
• Код ответа сервера
• Объем пакета запроса
• Ответ сервера в случае ошибки

Внутренняя жизнь гугла в жалобах

Имея некоторое представление о внутренней кухне retention management некоторых ИТ компаний, мне всегда казалось, что нашего брата балуют очень. А человек такое существо он к хорошему и халяве бесплатному привыкает очень быстро. Иногда даже поражаешься, с себя в том числе, насколько быстро :)

Так вот у Oleg Eterevsky наткнулся на записку "Гуглеры жалуются на жизнь". Комментировать не буду

The free gym is too far for me to walk to. I need a free gym in my building so I can get some exercise without walking far.

The employee handbook is spread across multiple pages. 

These free $100 headphones mess up my hair

Every time I get a midday massage, I end up with pillow wrinkles on my face for the rest of the day.

5 of the 8 free t-shirts I got this year are black. Kinda irritating. I prefer blue. 

During our Google skydiving offsite, they promised a 50 seconds free fall, but watching the video I noticed it was only 41 seconds.

My 30" monitor blocks my view of the mountains.

The "Relax", "Refresh", and "Rejuvenate" settings for the massage chair feel exactly the same.

Sometimes when I go to get something to drink out of the micro-kitchen, it has just been restocked, so the drinks aren't even cold yet. Pretty frustrating.

The couch in my cubicle isn't quite long enough for me to fully lie down on.

The fact that Google provides 14 meals a week makes it cheaper to eat out on the weekend than stock my kitchen. As a result, I haven't had an opportunity to cook for like a year and my cooking skills are suffering.

There was no pizza left so I had to eat steak.

When the company pays for me to travel to other offices overseas the free snacks in the microkitchens are unfamiliar to me and I don't know which ones to choose.

It feels like every time I get used to a free phone, they go and give us a new one, and then I have to learn how to use that one.

Unlimited free food is making me fat.

I got sunburned a little on our Hawaii offsite.

Lady Gaga came to speak at Charlie's and I had to go the long way around to get my free lunch.

When I'm working from home I have to make my own breakfast, lunch *and* dinner.

I eat so much at the free breakfast that I'm not hungry enough in time for the free lunch.

The game room only had one beanbag, so I had to sit on a chair while playing Call of Duty.

The selection of classic arcade games in our building is too limited, and sometimes I have to walk to another building.

We built a catapult out of the custom furniture, but the ceiling is too low to launch oranges at people more than 150 feet away.

I can't see the Harbour Bridge in the morning because the sun rises over my panoramic views of the Sydney skyline and I have to lower the blinds.

I haven't gotten a free T-shirt in at least 3 months.

The sushi chef did not put enough aioli on my soft shell crab handroll.

The chalk for the pool cues is the wrong color for the table.

We have a view of the Bay Bridge from the office, but I want a view of the Golden Gate Bridge. It's prettier.

My desk is equally close to two microkitchens and I'm forced to decide which one to use.

Что я видел на QA Dnepr Mini Conference

В субботу состоялась первая QA Dnepr Mini Conference. Я там делился своими соображениями по анализу результатов нагрузочного тестирования.
Понравилась идея организаторов об отзывах докладчикам. Каждому участнику в раздаточных материалах выдали и одну бумажку небольшого блокнотного формата. И если участнику понравился доклад он писал свой отзыв на листочке и отдавал докладчику. Или не писал и отдавал докладчику. Я получил 9 таких и не знаю как у меня там с рейтингом отзывов, но ВСЕМ ОГРОМНОЕ СПАСИБО ЗА ЭТО. Я получил помимо спасибо еще и пару комментариев. Моя неспешность была взята на заметку :) К середине доклада я, конечно, проснулся и у нас получился с ребятами неплохая беседа по теме.
Если бы меня попросили придумать номинации, то в номинации "Самый спорный доклад" я бы отметил доклад Артема Розуменко "Как и зачем разрабатывать собственный фреймворк?". Его стандартный подход к автоматизации не вызвали бы такого ажиотажа в ранние субботние 10 утра, если бы не нестандартное применение. Больше всего споров было про независимость вызова фреймфорка: интегрировать c Continious Integration системами или нет. Как я понял - никто не мешает интегрировать, но у вас должна быть возможность запуска и без них или IDE. А также должен ли быть Ваш фреймворк project specific или нет. Немного неправильная с моей точки зрения постановка вопроса, да и Артем имел в виду то, что ядро должно быть независимым (ожидание ajax запросов, логирование, отчетность), а вот вспомогательные методы как логин, отсылка форм и т.п. всегда будет специализированным для проекта.
А как "Самый вызывающий доклад" - доклад Николая Алименкова "Жизнь без тестировщиков: миф или реальность?". Хотя что вы еще ожидали от доклада на конференции с почти 150ью тестировщиками, когда им со сцены говорят, что есть подходы позволяющие обойтись без тестировщиков в команде :) Вот народ с вызовом принял все доводы. Но, благодаря девушке из зала, Николай сознался, что тестировщика им не хватает. Хотя я бы использовал (и используем некоторые) такие подходы для улучшения качества выпускаемого продукта.
В общем и целом получилась очень хорошая конференция с домашней атмосферой, интересными докладами, конкурсами от спонсоров и подарками.

Надеюсь на приглашение организаторов на следующую конференцию.

Почему винчестер не назвали автоматом или байтометом?

Не знаю. На английском он тоже "тяжело" называется (Hard Disk Drive).

Это я к чему. Если вы решили померять производительность своего нового мощного production сервера, то учтите при проектировании тестов, что самая медленная его часть это именно жесткий диск ;) И очень много вариантов того, как система может тормозить только из-за него на любомом очень быстром сервере


А вообще первый жесткий диск в том виде, как мы к нему привыкли состоял из двух пластин по 30 Мб. И его разработчики называли "30-30", что также является обозначением калибра популярного охотничьего ружья производства компании Winchester

Совет, который мне пришел на утро после QAConf 1.0

Вчера после своего выступления на QAConf разговаривали с одним молодым человеком, Test Team Lead'ом о том, можно ли использовать бёрндаун отмечая не задачи по сложности, а по количеству.
Пришли к выводу, что можно, но будет виден только прогресс, который нельзя будет хоть с какой-то достоверной точностью предвидеть. Но в любом случае он сможет помочь.

Мы к сожалению не обменялись контактами, и я решил воспользоваться тем, что мои посты отображаются на сайте нашего QAClub.