Схемы слов дети учатся составлять, начиная с первого класса. Однако многим ребятишкам трудно отделить форму от содержания, они путаются с условными обозначениями, забывают определения понятий. Схемы слов дети учатся составлять, начиная с первого класса.
Однако многим ребятишкам трудно отделить форму от содержания, они путаются с условными обозначениями, забывают определения понятий. Определение слова или словосочетания и его значение. Схема. Схема, -ы, женский род. 1. Совокупность взаимосвязанных частей какого-нибудь устройства, прибора, узла, а также чертёж, разъясняющий принципы работы такого устройства. Общая с. работы узла. Тема: «Слова-предметы, слова-действия, слова-признаки». Цели: 1. Закрепить понятия о словах-предметах, словах-действиях и словах-признаках.
2. Закрепить умение правильно задавать вопросы к этим словам. 3. Развивать внимание, память, мышление. 4. Воспитывать навыки организованного поведения. Оборудование: схема слова-признака, предметные картинки, муляжи фруктов и овощей. Ход занятия: I.Организационный момент Слово-признак обозначается вот такой схемой.
Инструкция 2: А теперь возьми лимон. Пример: запрос "слово*" найдет слова где есть буквы: "с","л","о","в","о" и одна буква не известна, причем все буквы могут быть перемешаны. Если вы знаете точное положение букв вам подойдет сервис поиска слов по шаблону. Поиск на русском, английском и украинском языках. Моментальный поиск даже по миллионному словарю ~ секунд.
Огромная база слов. Более, русских, украинских и, английских слов. По какому признаку вы догадались, что слова, имеющие такую структуру, имена прилагательные? Помогите пожалуйста..буду благодарна.
Няя (__р.), (___.ч) ___овое (___.р), (___ч) ____истый (___.р), (___.ч) _____ская (___.р), (___.ч) Впишите в скобки род и число имён прилагательных. Под каждой схемой запишите слово,имеющее такой состав. Попроси больше объяснений.
Следить. Карточки по русскому языку "Слова-названия предметов, признаков, действий" картотека по русскому языку на тему. Опубликовано - - Мурашкина Светлана Викторовна. Карточки для работы на уроках русского языка в 1 и 2 классе. В стихотворении найди слова-признаки и подчеркни их волнистой линией. Как ходило солнышко. В золотой рубашке.
Особым фонетическим признаком слов тюркского происхождения является гармония гласных- закономерное употребление в одном слове гласных только одного ряда: заднего а,у или переднего е,и: атаман, караван, аркан, сундук, каблук, мечеть, бисер. Некоторые грамматические формы глаголов, существительных, прилагательных характеризуются особыми правилами произношения звуков в суффиксах и окончаниях.
Categories Post navigationМеня зовут Сергей, я Product Analyst в Wikr Group. До этого занимался аналитикой в компаниях Philip Morris и Genesis, в последней дорос до продуктового аналитика. В мои обязанности входил анализ всех метрик и определение вектора роста. Затем около полугода работал в Luxoft на позиции бизнес-аналитика, занимался построением алгоритмов и микросервисов. Но аутсорсинг мне не был так интересен, как развитие продукта, а потому вскоре я принял оффер от Wikr Group. Сейчас занимаюсь развитием мобильного приложения, которое будет решать проблемы людей в области здоровья.
Опираясь на свой опыт, я хочу рассказать о должности продуктового аналитика: кто это, чем занимается такой специалист и как развиваться в этом направлении.
Работа с данными
Продуктовый аналитик - это прежде всего аналитик, а значит, он должен уметь работать с данными. Чем больше данных, тем выше вероятность принять правильное решение. Для этого необходимо изучать метрики, строить воронки, следить, к каким результатам приводят малейшие изменения.
Такой подход - принимать решение в зависимости от полученных данных - называется Data Driven Development. К примеру, есть вопрос: на какую кнопку пользователи будут охотнее кликать - красную или зеленую? При DDD-подходе ответ находят с помощью A/B-тестирования: запускают тест, разделив аудиторию 50 на 50. Половине показывают красную кнопку, половине - зеленую. Если в результате оказывается, что пользователи чаще кликают на вторую, то принимаем решение убрать красную, оставляем только зеленую. Таким образом, мы предпринимаем только оправданные действия и постоянно улучшаем продукт.
Стоит учитывать, что на данном этапе нельзя просто доверять большему значению. Продуктовые аналитики применяют показатель статистической значимости. К примеру, что будет лучше в случае неравномерной разбивки трафика: выборка в 10 пользователей, из которых 2 сделали целевое действие, или выборка в 100 пользователей, из которых 10 сделали целевое? Если опираться только на относительные показатели, то будет ясно, что первая выборка 2/10 лучше. Но на самом деле на текущем этапе нельзя делать выводы, так как конверсия в целевое действие в 20% может быть случайностью.
На больших выборках получаем результаты с большим уровнем статистической значимости. Нормой для принятия решения считается уровень этого показателя > 95%
Один из важнейших показателей для продуктового направления - возврат пользователя. Конечно, можно и нужно масштабировать трафик, привлекать новых покупателей. Но зачастую больший уровень окупаемости приносят усилия, направленные на то, чтобы удержать прежних клиентов и воодушевить их еще раз воспользоваться вашим сервисом. И тут также на помощь приходит анализ больших данных.
Однажды передо мной как перед руководителем отдела возврата пользователей стояла задача снизить спам-рейт почтовой рассылки. На входе у меня была доставляемость на уровне 80%, спам-рейт - 12-15%. Такой спам-рейт считается чересчур высоким. В результате работы удалось его снизить до 5%, потом стабилизировать на уровне 7% - практически в 2 раза. Чтобы добиться таких показателей, я разобрался в каждой метрике, запускал и тестировал воронки, отключал определенные письма.
Интересный и работающий подход - переливка пользователей внутри собственной экосистемы продуктов. В таком случае пользователя переманивают с одного продукта компании на другой - к примеру, с контент-проекта о политических новостях на ресурс, посвященный интересным фактам о путешествиях. Подобные манипуляции проводят в тот момент, когда пользователь теряет интерес к первому проекту, и вероятность вернуть его на текущий ресурс близка к нулю. Для этого используют RFM-модель возврата пользователя: опираясь на данные возврата и трат денег, а также частоту трат пользователя, применяют ту или иную логику взаимодействия.
Если пользователь давно не возвращался на продукт, некоторые компании готовы «инвестировать» в него: понести убытки сейчас, чтобы добиться лояльности клиента в будущем, переместив его в более высокий сегмент. Чем выше сегмент, тем выше инвестиция в пользователя для его возврата - начиная от простой скидки и заканчивая материальным подарком.
Стратегия действий на основе RFM-анализа (расшифровывается как recency, frequency, monetary)
Основные задачи
Обязанности продуктового аналитика могут отличаться в зависимости от того, на каком этапе находится продукт. К примеру, если вы только пришли на проект, первой задачей может быть построение репортинга - прежде всего, для себя. Важно понять, откуда берутся данные, как они движутся, как воспринимать ту или иную метрику. Дальше можно строить планы действий, думать, как улучшать показатели.
Исследование. На текущей работе мне доверили создавать продукт с нуля. Моя первая задача заключалась в том, чтобы исследовать рынок, проанализировать конкурентов, решить, на какой рынок выходить в первую очередь. К примеру, стоимость пользователя в Штатах безумно дорогая, а потому для запуска первой версии продукта лучше обратить внимание на страны СНГ, Латинскую Америку, Индию. Трафик в этих странах дешевле, и они больше подходят, чтобы протестировать бета-версию, посмотреть, как она зайдет, куда будут кликать пользователи. Первая версия строится на предположениях и на анализе конкурентов: мы предполагаем, какой функционал будет нужен, а какой нет. Но после тестирования можно от догадок переходить к конкретным показателям.
Стратегия. После исследования рынка приходит время выстраивать стратегию развития продукта на год-полтора, описать формирование экосистемы, оценить временные затраты на каждый этап разработки. На данном этапе очень важно правильно спроектировать архитектуру данных. Во время разработки стратегии случается очень много итераций, коммуникаций со всеми - разработчиками, дизайнерами, рекрутерами, маркетологами. Иногда привлекают и сторонних консультантов, чтобы определить, что можно использовать, а что нет согласно политикам партнеров, через которых будем продвигать продукт.
Почему важно строить стратегию на такой длительный срок, а нельзя обойтись несколькими ближайшими месяцами? Прежде всего, это необходимо для выбора технологий разработки. В зависимости от функционала, который предполагается интегрировать на будущих этапах, выбирается платформа и технологический стек. К примеру, сейчас вам кажется подходящим вариантом использовать React Native для создания мобильного приложения, но если это приложение будет тянуть слишком много графических ресурсов, то через полтора года вы просто упретесь в потолок и окажетесь заложниками ситуации. То же самое с базами данных. MySQL - open source и удобное решение. Но если вы планируете хранить данные действий сотен тысяч пользователей, строить нейронные сети, то через 3-4 месяца придется все переделывать с нуля. А потому лучше все продумывать заранее и сразу предусмотреть, до каких масштабов будет разрастаться ваша аудитория.
Спецификация и схема данных. На начальном этапе жизненного цикла продукта продуктовый аналитик разрабатывает документ, который содержит базовое описание экосистемы продукта: что будет доступно на сайте или в мобильном приложении.
Спецификация также включает описание схемы данных: продуктовый аналитик выступает инициатором в ее построении. Он может самостоятельно спроектировать схему данных или же выступить в роли заказчика отделу аналитики. Необходимо продумать, какие метрики будут нужны, чтобы развивать продукт, что именно нужно трекать, какие действия пользователей изучать. К примеру, можно запланировать логирование переходов на определенную страницу, чтобы понимать, стоит ли ее оставлять в будущем или же будет лучше заменить ее на что-то другое. В данном случае аналитик - это глаза продукта.
Работа с командой. Написав первичную спецификацию, продуктовый аналитик передает ее бизнес/системному-аналитику, который трансформирует документ в более конкретные спецификации для девелопмента. Весь жизненный цикл продукта завязан на сотрудничестве специалистов разных профилей. После того, как приняты стратегия и спецификация продукта, нужно привлекать к работе дизайнеров, верстальщиков, разработчиков, тестировщиков.
Как бы детально не была расписана спецификация, члены команды будут задавать вопросы, а потому нужно быть готовым к постоянным коммуникациям.
Улучшение продукта. После первого релиза приходит очередь постоянной работы над тем, как улучшить продукт. A/B-тестирование, построение отчетности, аналитика - и становится понятно, что именно следует изменить или доработать. С первого раза хороший продукт не получится:) Сначала выпускают сервис с базовым функционалом, затем дорабатывают core-фичи и добавляют новые. К примеру, что первично для сайта знакомств? Анкеты, чат. И только потом приходит очередь дополнительных сервисов - системы виртуальных/реальных подарков и т. д. На вопрос, что и в каком порядке реализовывать, отвечает продуктовый аналитик.
Решения по улучшению продукта принимаются на основании «выхлопа» от нового функционала и потраченного на его реализацию времени. Можно применить показатель ROI - отношение ожидаемого прироста выручки к затраченному времени разработки. Сервис с наивысшим показателем имплементируется в первую очередь.
На этапе интегрирования нового функционала важно правильно оценить время. Помимо реализации непосредственно функционала нужно потратить определенное количество часов на создание инфраструктуры информирования пользователя (письма, баннеры на сайте), расстановку очередности и сроков запуска частей экосистемы. К примеру, будет неправильно проинформировать пользователя о новом функционале в письме через месяц после его запуска.
Главное - заранее видеть путь, куда вы идете: что будет интегрироваться на каждой фазе разработки. Вместе с тем, постоянные тесты корректируют первоначальный план: может, какое-то поведение пользователей на фазе № 2 просто отменит запуск фазы № 7.
Рабочие инструменты
Я работаю с Tableau - это инструмент анализа и визуализации данных. Он удобен для построения статистической отчетности - например, чтобы посмотреть, какой возврат имеем сегодня, как окупается маркетинг. Сервис позволяет строить воронки конверсии пользователей в определенные этапы: лендинг → регистрация → подписка на триальную версию → оплата → повторная оплата и т. д. Все показатели воронки относительные.
Для более глубокого анализа пользуюсь Python. Он способен обрабатывать очень большие данные - миллиарды строк и выше. Excel с таким объемом не справляется. Также с помощью Python можно строить различные модели, проводить кластеризацию под определенные параметры, имитировать поведение пользователей для тестирования скорости работы сервисов. В общем случае знание программирования для продуктового аналитика не обязательно, это просто мое хобби.
Для ресерча иногда использую SimilarWeb - этот сервис предоставляет небольшой срез по аудитории, который экстраполируется на всю выборку. Инструмент позволяет посмотреть, где в данный момент активны конкуренты, куда они сейчас пытаются выйти, каким объемом аудитории располагают. Эта информация помогает задать собственный вектор развития.
Портрет хорошего аналитика
Системность. Раньше я любил бросаться в задачи, но потом понял, что каждой идее требуется время, чтобы оконательно созреть. Не надо бежать с факелом: «Вот, я придумал». Продумайте все плюсы и минусы этой идеи, сформируйте системную работу. Хорошая практика - спланировать задачи на неделю вперед, записать в блокноте и постепенно их выполнять, не бросаясь с одной на другую.
Внимание к деталям. Вы должны быть на «ты» с данными, понимать, какие показатели откуда берутся. Это позволит не допускать ошибок или максимально быстро их выявлять. К примеру, мне однажды удалось по источникам трафика найти читера на нашем продукте: обнаружил, что 90% регистраций шли с одного IP-адреса. Оказалось, что наши партнеры нас обманывали. Внимание к деталям позволило на второй день идентифицировать сбой в системе, что сохранило в перспективе десятки тысяч долларов компании.
Стратегическое мышление. Нужно уметь смотреть на весь проект «с высоты». Лично мне добиться этого помогла аналитика и компьютерные науки.
Каждый сплит и принятое решение прежде всего должно нести ценность и выгоду для бизнеса. В то же время нельзя зацикливаться на одном узком функционале. Нужно понимать, что если сейчас вы не реализовываете сложную и умную систему, то только затем, чтобы в кратчайшие сроки запустить более простую версию продукта и собрать данные о реакциях пользователей, корректируя дальнейший курс. Это намного рациональнее, чем год создавать сложную систему без «боевого крещения».
Хорошие коммуникационные способности. Каждую идею нужно «продать» как пользователю, так и своей команде.
Сдержанность. Иногда приходится уступать, ведь ваша точка зрения не всегда будет самой оптимальной.
Открытость. Никогда не думайте, что вы знаете пользователей. Они совершенно другие!
Карьерные пути
Как правило, продуктовые аналитики есть во всех продуктовых компаниях. В аутсорсинге эта позиция встречается редко: продакт чаще всего представлен на стороне заказчика. На стороне исполнителя это будет бизнес-аналитик, работающий с требованиями.
Продуктовые аналитики растут из аналитиков, маркетологов, специалистов по закупке трафика, менеджеров. Желательно иметь базовые знания математики и статистики, уметь работать с аналитическими инструментами. Будет плюсом знание SQL.
Профессия продуктового аналитика открыта для всех, кого привлекает возможность создать продукт, вылепить из глины то, что вам хочется, и самое главное, чего требует в этот момент рынок.
Из интересных ресурсов я могу посоветовать:
- PythonProgramming.net - отличный бесплатный ресурс, где затрагивают актуальные темы машинного обучения, статистики и базовой работы с Python.
- Канал дейтинга Badoo - тут можно найти интересные лекции по продуктовой и почтовой аналитике, в частности Андрея Саса.
- ФКН ВШЭ - школа компьютерных наук «Яндекса».
Из оффлайн: Genesis IT school - хорошая площадка для старта, где можно узнать о всех гранях большого бизнеса. Я там делаю доклады по возврату пользователей и почтовой рассылке.
В настоящее время в программной инженерии еще не сформировалась окончательно система метрик. Действуют разные подходы к определению их набора и методов измерения. Система измерения включает метрики и модели измерений, которые используются для количественной оценки качества ПО.
При определении требований к ПО задаются соответствующие им внешние характеристики и их атрибуты (субхарактеристики), определяющие разные стороны управления продуктом в заданной среде. Для набора характеристик качества ПО, приведенных в требованиях, определяются соответствующие метрики, модели их оценки и диапазоны их значений для измерения отдельных атрибутов качества.
Согласно стандарту 1БО 14598 метрики определяются по модели измерения атрибутов ПО на всех этапах ЖЦ (промежуточная, внутренняя метрика), и особенно на этапе тестирования или функционирования (внешние метрики) продукта. Остановимся на классификации существующих метрик ПО, правилах проведения метрического анализа и процессах их измерения.
Существует три типа метрик: метрики программного продукта, которые используются при измерении его характеристик или свойств; метрики процесса, которые используются при измерении свойств процесса ЖЦ создания продукта; метрики использования.
Метрики программного продукта. Эти метрики используют внешние метрики, обозначающие свойства продукта, видимые пользователю, и внутренние метрики, обозначающие свойства, видимые только команде разработчиков.
Внешние метрики программного продукта:
- метрики надежности, которые служат для определения числа дефектов;
- метрики функциональности, с помощью которых устанавливаются наличие и правильность реализации функций в продукте;
- метрики сопровождения, с помощью которых измеряются ресурсы продукта (скорость, память, среда);
- метрики применимости продукта, которые способствуют определению степени доступности для изучения и использования;
- метрики стоимости, которыми определяется стоимость созданного продукта.
Внутренние метрики программного продукта:
- метрики размера, необходимые для измерения продукта с помощью его внутренних характеристик;
- метрики сложности, необходимые для определения сложности продукта;
- метрики стиля, которые служат для определения подходов и технологий создания отдельных компонентов продукта и его документов.
Существует также некая общая мера - степень трассируемости ПП, которая определяется числом трасс, прослеживаемых с помощью моделей сценариев типа иМЬ, и оценкой количества требований, сценариев и действующих лиц, объектов, включенных в сценарий.
Внутренние метрики позволяют определить производительность продукта и являются релевантными по отношению к внешним метрикам.
Внешние и внутренние метрики задаются на этапе формирования требований к ПО и являются предметом планирования и управления в процессе достижения качества конечного ПП.
Метрики продукта часто описываются комплексом моделей для установки различных свойств, значений модели качества или прогнозирования. Измерения проводятся, как правило, после калибровки метрик на ранних этапах проекта.
- мера размера ПО в разных единицах измерения (число функций, строк в программе, размер дисковой памяти и др.);
- мера времени (функционирования системы, выполнения компонента и др.);
- мера усилий (производительность труда, трудоемкость и др.);
- мера учета (количество ошибок, число отказов, ответов системы и др.)
Специальной мерой может служить уровень повторного использования компонентов программной системы, измеряемый как отношение размера продукта, изготовленного из готовых компонентов, к размеру системы в целом. Данная мера используется также при определении стоимости и качества ПО. В качестве примеров таких метрик можно привести следующие характеристики: общее число объектов и число повторно используемых; общее число повторно используемых и новых операций; число классов, наследующих специфические операции; число классов, от которых зависит данный класс; число пользователей класса/операций и др.
При оценке общего количества некоторых величин часто используются среднестатистические метрики (среднее число операций в классе, наследников класса или операций класса и др.). Примером таких широко используемых внешних метрик являются метрики Холстеда - это характеристики программ, выявляемые на основе статической структуры программы на конкретном языке программирования, например число вхождений наиболее часто встречающихся операндов и операторов, длина программы как сумма числа вхождений всех операндов и операторов и др. На основе этих атрибутов можно вычислить время программирования, уровень программы (структурированность, качество) и языка программирования (уровень абстракции используемых средств языка, степень ориентации на проблему) и др.
Как правило, используемые метрики в значительной степени являются субъективными и зависят от знаний экспертов, производящих количественные оценки атрибутов компонентов программного продукта.
Метрики процесса. В качестве этих метрик могут быть использованы такие, как время разработки, число ошибок, найденных на этапе тестирования, и др. Но на практике обычно широко используются следующие метрики процесса:
- общее время разработки и отдельно время для каждой стадии;
- время модификации моделей;
- время выполнения работ на процессе;
- число найденных ошибок при инспектировании;
- стоимость проверки качества;
- стоимость процесса разработки.
Метрики использования. Они служат для измерения степени удовлетворения потребностей пользователя при решении его задач, помогают оценить не свойства самой программы, а результаты ее эксплуатации - ее эксплуатационное качество. Примерами могут служить точность и полнота реализации задач пользователя, затраченные ресурсы на эффективное решение задач пользователя (трудозатраты, производительность и др.).
Стандартная оценка показателей качества. В соответствии с рассмотренной четырехуровневой моделью качества оценка качества ПО начинается с нижнего уровня иерархии, т.е. с самого элементарного свойства оцениваемого атрибута показателя качества согласно установленным мерам. На этапе проектирования устанавливают значения оценочных элементов для каждого атрибута показателя качества анализируемого ПО, включенного в требования.
По определению стандарта 180/1Е89126-2 метрика качества ПО представляет собой «модель измерения атрибута, связываемого с показателем его качества». При измерении показателей качества ПО стандарт 180/1Е89126-2 рекомендует использовать следующие типы мер:
- меры размера в разных единицах измерения (количество функций, размер программы, объем ресурсов и др.);
- меры времени, периоды реального, процессорного или календарного времени (время функционирования системы, время выполнения компонента, время использования и др.);
- меры усилий, продуктивное время, затраченное на реализацию проекта (производительность труда отдельных участников проекта, коллективная трудоемкость и др.);
- меры интервалов между событиями, например время между последовательными отказами;
- счетные меры, счетчики для определения количества обнаруженных ошибок, структурной сложности программы, числа несовместимых элементов, числа изменений (например, число обнаруженных отказов и др.).
Метрики качества используются при оценке качества программы (безотказной работы, выполнимости функций, удобства применения интерфейсов пользователей, БД и т.п.) с помощью данных, полученных после проведения испытаний на множестве тестов.
При тестировании наиболее важным показателем является наработка на отказ, который как атрибут надежности определяет среднее время между появлением угроз, нарушающих безопасность, и обеспечивает трудноизмеримую оценку ущерба, которая наносится соответствующими угрозами.
Очень часто оценка программы проводится по числу строк. При сопоставлении двух программ, реализующих одну и ту же прикладную задачу, предпочтение отдается более короткой, так как ее создает более квалифицированный персонал, в ней меньше скрытых ошибок, ее легче модифицировать и времени на отладку и модификацию уходит меньше, хотя по стоимости она, как правило, дороже. Таким образом, длину программы можно использовать для сравнения и оценки программ с учетом квалификации разработчиков, стиля разработки и используемой среды.
Если в требованиях к ПО было указано использовать несколько показателей, то каждый просчитанный после сбора данных показатель умножается на соответствующий весовой коэффициент, а затем все показатели суммируются для получения комплексной оценки уровня качества ПО. На основе измерения количественных характеристик и проведения экспертизы качественных показателей с применением весовых коэффициентов вычисляется итоговая оценка качества продукта путем суммирования результатов по отдельным показателям и сравнения их с эталонными показателями ПО (стоимость, время, ресурсы и др.).
При проведении оценки отдельного показателя с помощью оценочных элементов просчитываются весовой коэффициент-метрика, коэффициент-показатель, коэффициент-атрибут. Например, в качестве показателя возьмем переносимость. Этот показатель будет вычисляться по пяти известным атрибутам, причем каждый из них будет умножаться на соответствующий коэффициент. Все метрики-атрибуты суммируются и образуют показатель качества. Когда все атрибуты оценены по каждому из показателей качества, производится суммарная оценка отдельного показателя, а потом и интегральная оценка качества с учетом весовых коэффициентов всех показателей ПО.
В конечном итоге результат оценки качества является критерием эффективности и целесообразности применения используемых методов проектирования, инструментальных средств и методик оценивания результатов создания программного продукта на стадиях ЖЦ.
Согласно стандарту ДСТУ 3230-1995 для оценки значений показателей качества используются следующие методы: измерительный, регистрационный, расчетный и экспертный (а также комбинации этих методов).
Измерительный метод основан на использовании измерительных и специальных программных средств для получения информации о характеристиках ПО, например определения объема, числа строк кода, операторов, количества ветвей в программе, числа точек входа/ выхода, реактивности и др.
Регистрационный метод используется при подсчете времени, числа сбоев или отказов, начала и конца работы ПО в процессе его выполнения.
Расчетный метод базируется на статистических данных, собранных при проведении испытаний, эксплуатации и сопровождении ПО. Расчетными методами оцениваются показатели надежности, точности, устойчивости, реактивности и др.
Экспертный метод осуществляется группой экспертов - специалистов, компетентных в решении данной задачи или используемом ПО. Их оценка базируется на опыте и интуиции, а не на результатах расчетов и экспериментов. Такая экспертиза обычно проводится путем просмотра программ и сопроводительных документов; для этого устанавливаются контролируемые признаки, которые коррелиро-ваны с одним или несколькими показателями качества и включены в опросные карты экспертов. Метод применяется при оценке таких показателей, как анализируемость, документируемость, структурированность ПО, и способствует всесторонней и качественной оценке созданного продукта.
При оценке значений показателей качества в зависимости от особенностей используемых ими свойств, способов их определения и назначения для каждой метрики качества применяется определенная шкала измерений:
- шкала метрическая (абсолютная, относительная, интегральная);
- шкала порядковая (ранговая), позволяющая ранжировать характеристики путем сравнения с опорными значениями;
- классификационная шкала, характеризующая наличие или отсутствие рассматриваемого свойства у оцениваемого ПО.
Показатели, которые вычисляются с помощью метрических
шкал, называются количественными , а показатели, определяемые с помощью порядковых и классификационных шкал, - качественными.
- 1. Номинальная шкала отражает категории свойств оцениваемого объекта без их упорядочения.
- 2. Порядковая шкала служит для упорядочения характеристики по возрастанию или убыванию путем сравнения их с базовыми значениями.
- 3. Интервальная шкала задает существенные свойства объекта (например, календарная дата).
- 4. Относительная шкала задает некоторое значение относительно выбранной единицы.
- 5. Абсолютная шкала указывает на фактическое значение величины (например, число ошибок в программе равно 10).
Когортный анализ это выделение определенной группы пользователей (когорты) и анализ ее поведения во времени. Пользователей в когорте объединяет совершение действия на определенном промежутке времени.
Пример когортного анализа:
Мы разделили пользователей на три когорты, в зависимости от версии приложения которое они скачали и смотрим какой процент из них продолжает пользоваться приложением через 1, 2, 3, 4, 5 и 6 недель.
Наблюдение за когортами происходит в разные отрезки времени. Если версии выходят раз в две недели, то мы собираем данные о пользователях, скачавших первую версию в январе, а третью в феврале.
Когортный анализ дает нам понимание о качестве версий 1, 2 и 3 нашего приложения, объясняет какая из версий лучше удерживает пользователей в приложении. Без разделения на когорты мы бы получили усредненные данные по всем версиям, что бесполезно.
Отслеживаемым событием может быть прохождение туториала, покупка, сумма покупок за неделю и т.д. Данные для когортного отчета полезно предварительно фильтровать по каналу привлечения или стране.
Из инструментов мобильной аналитики только KISSMetrics поддерживает когорты по параметрам (версия продукта, канал привлечения), поэтому дальше мы будем рассматривать когорты пользователей скачавших приложений в определенную неделю. Изменения показателей при выходе новой версии можно отследить сопоставив дату выхода с неделей когорты.
Метрики роста и метрики продукта
Олег Якубенков из ZeptoLab в своем блоге доносит идею метрик роста против метрик продукта. Большинство компаний отслеживает метрики роста: количество активных пользователей в месяц (MAU) и прибыль с приложения. Проблема в том, что на метрики роста влияет и качество продукта и продвижение приложения. По ним сложно понять улучшают ли продукт наши изменения.
Наглядный пример: команда продвижения привлекает каждый месяц на 5 000 пользователей больше, а продукт менеджер в каждой версии вносит изменения снижающие доход на пользователя. Активные пользователи растут, прибыль с приложения растет, но продукт становится все хуже и только через год они пойдут вниз, хотя уже слишком поздно. Поэтому нужно отслеживать так же метрики продукта.
Метрики продукта это LTV — суммарный доход с пользователя пока он не покинет приложение и CAC — стоимость привлечения пользователя. Олег декомпозирует LTV и приводит пример агреггированного когортного отчета для приложения со встроенными покупками.
Подробнее о метриках из отчета читайте в статье .
Когортный анализ во Flurry и Google Analytics Flurry не поддерживает отчеты для когортного анализа, но все же можно его провести.
Для этого создайте сегменты пользователей, скачавших приложение в разные недели (Manage → Segments → Create new segment). Открываете любой отчет и фильтруете по сегменту, разные когорты сравниваете на разных вкладках браузера. Для анализа во времени, отфильтруйте отчет по нужно неделе. В Google Analytics подход такой же. Создаем Advanched Segment с понедельными Date of First Visit.
Это примерное приближение, полноценный когортный анализ во Flurry или GA не осуществить.
Когортный анализ в KISSMetrics и Mixpanel KISSMetrics и Mixpanel поддерживают когортный анализ. В KISSMetrics он называется ‘Cohort Report’ в Mixpanel ’Retention’.
В обоих системах отчет строится по одному принципу: выбираете событие по времени наступления которого создаются когорты (Show people who did). В большинстве случае это запуск приложения. Второе событие (Then come back and did) это то действие пользователя, которое нам интересно.
Примеры пар событий:
- «запуск приложения → запуск приложения» возвращаемость когорт пользователей, разбитых по неделе скачивания, в приложение по неделям.
- «запуск приложения → покупка» покупки совершенные когортами по неделям.
- «запуск приложения → завершение туториала» процент пользователей завершивших туториал по неделям после скачивания.
KISSMetrics умеет строить когорты по параметрам, например, не неделя установки а первая версия скачанного приложения. А Mixpanel создавать сложные когорты с фильтрацией по параметру (канал привлечения, модель телефона, страна, ...).
Я рекомендую Mixpanel. У KISSMetrics нет библиотеки под Android и возможности отфильтровать когортный отчет по каналу привлечения. Тем более Mixpanel можно использовать бесплатно , разместив их банер в подвале сайта.
И к сожалению, инструменты не позволяют построить отчет с суммой покупок за неделю (для LTV) его придется собирать вручную.
Ежемесячные отчеты по мобильному приложению
Рекомендую сразу после прочтения письма придумать отчет по примеру Олега и собрать данные. Составляйте этот отчет раз в месяц и рассылайте руководству и всей команде. Не забудьте отмечать в отчете выход новой версии. Через некоторое время вы заметите зависимость между цифрами и не будете изменять продукт в слепую. Да и просто посчитать CAC и LTV — полезное занятие.
Обязательно прочтите
Это письмо — введение в когортный анализ, чтобы разобраться до конца обязательно прочитайте:
- «Когортный анализ. Метрики продукта vs метрики роста .»
- «Когортный анализ в
Заинтересовать инвестора можно только цифрами. Какие показатели приведут к миллиардным вложениям в вашу компанию? Венчурный фонд Andreessen Horowitz, в портфеле которого - BuzzFeed, Facebook, Foursquare, Skype и другие, описал , на какие метрики обращают внимание его партнёры, а «Секрет» выбрал самые важные из них. Мы не стали включать в список самые распространённые показатели вроде количества активных и зарегистрированных пользователей, валовой прибыли, источников трафика, стоимости привлечения клиента или среднего чека, а сосредоточились на тех метриках, которые вы вряд ли используете.
Inventory Turns / Оборачиваемость запасов
Все знают, как считать конверсию: количество товара, проданного в определённый период, надо разделить на количество товара на начало периода. Чем выше этот показатель, тем востребованнее продукты компании и тем привлекательнее компания для инвесторов. Для компаний, предоставляющих площадку для торговли (marketplace businesses), высокая конверсия означает, что поставщики и дальше будут работать с ней. Также инвесторам будет интересен рост конверсии - он особенно важен на ранних этапах и показывает развитие бизнеса.
У ритейлеров и производителей высокая конверсия указывает на то, что они способны правильно угадывать спрос и отвечать потребностям покупателей. Но для этих категорий бизнесов иногда важнее другой показатель - оборачиваемость запасов. Алгоритм вычисления следующий.
1) Надо выяснить среднюю стоимость запасов. Например, на начало года у вас было товаров на 100 000 рублей, а к концу - на 120 000 рублей. Обе цифры складываются и делятся на два - средняя стоимость запасов составляет 110 000 рублей.
2) Теперь высчитываем оборачиваемость запасов. Стоимость проданных за год товаров делится на среднюю стоимость запасов. Например, если вы продали товаров на 1,5 млн рублей, коэффициент оборачиваемости - 13. Чем выше цифра, тем эффективнее компания.
Если оборачиваемость со временем снижается, это плохой сигнал для инвесторов - либо падает спрос, либо компания не развивается. Есть два способа увеличить этот показатель и повысить привлекательность компании для инвесторов: более интенсивно продавать при том же количестве запасов или продавать так же, но снизить количество запасов, нужное для осуществления сделок.
Network Effects / Сетевые эффекты
Сетевой эффект возникает, когда ценность продукта растёт по мере того, как его используют всё больше людей. Посчитать его по одной формуле нельзя - для каждого бизнеса важно определить свои метрики, которые покажут эффект. Это нужно, чтобы не просто заявить инвестору о том, что вы создали сообщество клиентов, но и подтвердить это фактами.
Andreessen Horowitz приводит в пример компанию OpenTable - сервис по онлайн-бронированию столов в ресторанах. Их сетевой эффект заключается в том, что больший выбор ресторанов привлекает больше клиентов, а, в свою очередь, чем больше клиентов, тем больше новых ресторанов-партнёров. Вот метрики, которые помогли подтвердить этот эффект для инвесторов.
1) Производительность продажников OpenTable растёт отчасти из-за увеличившегося количества запросов от ресторанов. Это более важно, чем рост самой базы ресторанов, так как она растёт и без сетевых эффектов.
2) Число клиентов, посетивших рестораны через OpenTable, растёт. Это снова более важно, чем число зарегистрированных пользователей.
3) Число клиентов, пришедших на OpenTable, чтобы зарезервировать столик, растёт по сравнению с числом клиентов, сделавших это через сайт ресторана.
4) Наконец, отток ресторанов-партнёров снижается.
Для каждого бизнеса набор метрик будет своим, но инвестору важно видеть, что вы не просто наблюдаете этот сетевой эффект, а можете управлять им.
Virality / Виральность
Если сетевой эффект - показатель ценности сообщества клиентов, то виральность - показатель скорости, с которой продукт распространяется от одного пользователя к другому. Коэффициент виральности показывает, сколько пользователей привлекли других людей к использованию продукта. Вот базовый способ вычисления этого коэффициента.
1) Посчитайте своих действующих пользователей. Допустим, их 1000.
2) Умножьте это число на среднее число приглашений, которое отсылает один пользователь своим друзьям за определённый период времени. То есть, если пользователь отправляет за месяц около пяти приглашений друзьям, всего приглашённых пользователей 5000.
3) Определите, как много приглашённых пользователей совершили желаемое действие. Будьте осторожны с этим пунктом - например, количество скачиваний приложения вовсе не значит, что новые пользователи его запустили. Лучше выбрать тех, кто прошёл, например, первый уровень вашей игры. Допустим, получится 15%, или 750 людей.
4) Виральный коэффициент можно вычислить, если разделить количество новых пользователей на количество старых пользователей. В этом случае он равен 0,75. Результат меньше единицы не считается виральным. Если набрали выше - сумели зацепить пользователей, и ваши затраты на привлечение нового клиента будут ниже, чем у конкурентов.
Важно помнить, что виральность не свидетельствует о наличии сетевого эффекта - количество не всегда перерастает в качество.
Net Promoter Score (NPS) / Индекс лояльности
Эта метрика позволит выяснить, насколько потребитель удовлетворён вашими услугами. Она строится на главном вопросе: «Какова вероятность того, что вы порекомендуете нашу компанию / продукт / сервис другу или коллеге?» Задайте клиентам этот вопрос и позвольте отвечать по шкале от 1 до 10 (10 - вероятнее всего). Затем выясните процент «промоутеров» (тех, кто поставил от 9 до 10) и «недоброжелателей» (тех, кто поставил ≤ 6). Индекс потребительской лояльности равен разнице между процентом «промоутеров» и «недоброжелателей».
Для инвестора высокий индекс потребительской лояльности - индикатор того, что компания думает не только о количестве пользователей, которые совершили определённое действие больше нескольких раз в месяц, но и имеет хорошие перспективы развития. Также инвесторы могут сравнить ваш индекс лояльности с показателями конкурентов.
Cohort Analysis / Когортный анализ
Когортный анализ позволяет выявить, как пользователи взаимодействуют с продуктом на протяжении определённых периодов. Например, можно взять для исследования группу, которая зарегистрировалась в вашем сервисе в первую неделю января, и проследить, кто из них пользуется сервисом через месяц, три месяца, полгода и далее. Инвесторы особенно ценят это, потому что большинство стартапов не получают прибыль и только поведение пользователей может помочь оценить перспективы компании.
Вот самые важные шаги для правильного когортного анализа.
1) Выберите правильный набор метрик, а не метрики, которые пускают пыль в глаза (например, количество скачиваний).
2) Выберите правильный период для анализа - обычно это день, неделя или месяц, потому что короткие временные периоды лучше подходят для молодых бизнесов.
3) Совместите период и метрики - в это время 100% ваших пользователей делают определённое главное действие (покупают продукт, размещают фото и так далее).
4) Выберите второй период - неделя или месяц спустя - и проверьте, сколько пользователей всё ещё совершают это действие.
5) Повторяйте анализ в другое время, чтобы понять, что влияет на поведение пользователей.
Инвесторам нужно видеть, что процент удержанных клиентов (или клиентов, совершающих определённое действие) в разные периоды стабилен или растёт. Это значит, что бизнес находится на пути построения большой устойчивой базы клиентов. Также инвесторам понравится, если новые когортные анализы (например, после введения новой функции) показывают лучшие результаты, чем предыдущие. Это говорит о том, что со временем компания повышает ценность продукта и учится лучше понимать своих пользователей.
Customer Concentration Risk / Риск концентрации клиентов
Концентрация клиента определяется отношением выручки с самого большого клиента и общей выручки. То есть если самый большой клиент платит вам $2 млн в год, а общая выручка - $20 млн в год, то концентрация равна 10%. Инвесторы предпочитают компании с низким показателем концентрации, потому что бизнес, который получает все средства лишь от нескольких клиентов, больше подвержен рискам. Например, такие клиенты могут оказывать плохое влияние на продукт, требуя функций, которые подходят только им, или принуждать компанию продавать им товары и услуги по заниженным ценам.
LTV (Life Time Value) / Ценность клиента на протяжении жизненного цикла
Эта метрика позволяет выяснить долгосрочную ценность клиента - сколько чистой прибыли вы получите с него (без затрат на привлечение) за всё время ваших отношений. Для вычисления этой ценности нужно знать следующие показатели.
1) Выручка с клиента (в месяц) = средняя стоимость заказов, умноженная на количество заказов.
2) Вклад на покрытие клиента = выручка с клиента минус различные затраты на клиента (например, продажи, административный и другие операционные расходы, связанные с обслуживанием).
3) Средняя продолжительность жизни клиента (в месяцах) = 1 разделить на ежемесячный процент оттока клиентов.
Для полученияе показателя жизненной ценности вклад на покрытие надо умножить на среднюю продолжительность жизни клиента. Чем больше показатель, тем перспективнее компания для инвестора.
Burn Rate / Скорость расходования средств
Знать скорость сгорания средств особенно важно для стартапов на ранних стадиях. Когда деньги заканчиваются, у молодых компаний уже не остаётся возможностей снизить расходы и нет времени, чтобы поднять инвестиции. Формула вычисления опасной скорости проста: от баланса на начало года надо отнять баланс на конец года и разделить результат на 12. Год - нестрогое ограничение по времени, можно взять любое число месяцев и, соответственно, подставить его в делитель.
CMGR (Compounded Monthly Growth Rate) / Составной месячный темп роста
Ежемесячный рост измерить очень просто - обычно его считают как среднее всех ежемесячных показателей за год. Однако в Andreessen Horowitz уверяют, что инвесторов интересует совокупный показатель, который считается по более сложной формуле. Она такова: (последний месяц года / первый месяц года) * (1 / Количество месяцев) – 1. Для маленьких компаний этот показатель может быть ниже, чем просто средний темп роста.
Churn / Отток клиентов
Важно понимать не только, сколько клиентов остаётся с вами, а сколько уходит. В этом поможет формула расчёта оттока - существует несколько вариантов. Andreessen Horowitz предлагает наиболее простой: число потерянных клиентов надо разделить на число клиентов на начало периода. Учитывать новые сделки, совершённые в течение этого месяца, не надо.
К работающим по подписке облачным сервисам самые строгие требования - ежемесячный отток не должен превышать 5–7%. В других сферах этот показатель может подниматься выше 20%, но конечно, чем ниже - тем лучше для инвестора.
«Секрет» благодарит за помощь в подготовке материала CEO Blackmoon Financial Group Олега Сейдака
Загрузка...
