Работа с данными в любой сфере. Как выйти на новый уровень, используя аналитику

В «Скандале в Богемии» Шерлок Холмс говорит доктору Ватсону: «Теоретизировать, не имея данных, опасно. Незаметно для себя человек начинает подтасовывать факты, чтобы подогнать их к своей теории, вместо того чтобы подтвердить факты теорией».

Процесс состоит из пяти этапов:
Сформулируйте вопрос.
Подготовьте данные.
Проанализируйте данные.
Визуализируйте выводы.
Представьте выводы.

«Ваши оценки в школе, ваши баллы, полученные на выпускных экзаменах, менее значимы для жизненного успеха, чем ваши способности сотрудничать, управлять эмоциями, отложить удовольствие и фокусировать внимание. Эти навыки гораздо важнее…»

Также помните, что, рассказывая о собственном опыте, вы не должны сосредоточиваться на положительных моментах. Люди с симпатией относятся к терпящим неудачу, потому что сами бывали в подобных ситуациях. Никто не захочет слушать историю о том, как богатый становится еще богаче. Поведайте о препятствиях, с которыми вы столкнулись, и о том, как их преодолели.

Если вы не комик от природы или если вам неудобно ломать лед таким образом, попробуйте задать вопрос, который требует поднятия руки. Например, вы можете спросить, сколько людей в комнате используют продукт или услугу, о которых вы собираетесь говорить, или сколько людей знают о концепции, которую вы планируете обсудить более подробно. Убедитесь, что ваш вопрос имеет отношение к теме презентации.

Многие ненавидят круговые диаграммы, потому что, в отличие от гистограмм, они не позволяют быстро увидеть разницу между категориями. При этом надо иметь в виду, что такие диаграммы могут быть очень эффективны, если: а) у вас есть сравнимые по величине данные и вы хотите показать это или б) если у вас есть сильно различающиеся по величине данные. Как правило, лучше избегать использования круговых диаграмм для отображения более трех или четырех категорий. Если элементов больше трех, такие диаграммы становятся нерепрезентативными, поскольку приходится решать, в какой последовательности расположить элементы, и в случае их неправильного порядка сопоставлять данные становится сложно.

выборка Томпсона позволяет обрабатывать данные партиями, а не каждый раз, когда появляются новые данные. В случае с сайтами это означает, что мы можем подождать до тех пор, пока не наберем определенное количество кликов, и только потом обновить алгоритм с этой информацией. Это называется пакетной выборкой.

Детерминированные модели, такие как k-NN, относят полученные данные к одному конкретному классу, в то время как вероятностные модели, такие как наивный байесовский классификатор, предсказывают распределение вероятностей по всем классам. Затем это распределение можно использовать, чтобы отнести данные к классу.

Наивный байесовский классификатор основан на сильном, наивном допущении независимости признаков: все характеристики массива данных не зависят друг от друга. На самом деле было бы наивным так полагать, поскольку для многих массивов данных может быть выявлен уровень корреляции содержащихся в них независимых переменных.

Дерево решений или случайный лес?
Хотя алгоритм случайного леса можно рассматривать как «обновление» деревьев решений, оба метода имеют свои преимущества в зависимости от поставленной задачи. Для проектов, использующих относительно мало данных, применение алгоритма случайного леса не даст оптимальных результатов, так как он будет излишне подразделять данные. В этих сценариях более эффективно дерево решений, которое обеспечивает быструю и простую интерпретацию данных. Но если вы работаете с большим массивом данных, более точный прогноз даст случайный лес, но его интерпретируемость окажется ниже[45].