Визуализации данных без дизайнеров и программистов

Начало работы

Для начала импортируем все необходимые нам модули, а также загрузим изображение в объект Python:

Примечание. Никто не заставляет вас импортировать модули с помощью конструкции import … as …, давая им такие же имена, как и я. Однако почти во всех «литературных» источниках NumPy импортируется с псевдонимом np, а matplotlib.pyplot — plt.

По поводу кода не беспокойтесь, в конце статьи будет указана ссылка на .ipynb документ, который вы сможете легко загрузить и изменить под своё усмотрение.

Загрузка изображения происходит с помощью функции open() под-модуля Image:

Jupyter Notebook выводит изображения просто по их имени. Вот то самое изображение, путь к которому я передал в функцию:

Однако далее мы создадим свою функцию, чтобы у нас была возможность добавить надпись над фотографией (заголовок) или поменять её размер.

Вывод изображений с matplotlib

Вот функция, которую мы будем использовать далее. Она принимает два параметра: img — массив, который мы получили из исходной фотографии и title — заголовок, который по умолчанию имеет значение None. Мы изменяем размеры фигуры на 6×6, чтобы сделать вывод изображения больше, и выводим его на экран. Также мы проверяем, был ли указан заголовок, и в таком случае устанавливаем его с помощью функции title(). Выключим пометки на осях, указав ‘off’ в функцию axis().

Специализация Full-stack веб-разработчик на Python

Идет набор в группу 5 900₽ в месяц

Подробнее

Преобразование в «черный-белый»

Сейчас мы будем преобразовывать изображение в черно-белые тона. Пока что мы не будем преобразовывать загруженное изображение в массив, ибо здесь мы будем использовать метод convert() классаизображения PIL.

Функция выглядит очень просто:

Немного про само изображение. Мы представили его в RGB формате, то есть каждый пиксель имеет три значения — красный, зелёный и синий. Оттенки серого получаются, когда все эти три значения равны. Изначальная идея состояла в том, чтобы просто взять среднее арифметическое трёх значений. Однако позже я вспомнил об одной известной формуле яркости пикселя:

Мне подсказали хорошую статью насчет «правильности» этой формулы, и я с радостью поделюсь ею с вами: «Об относительной яркости, или насколько живучим бывает легаси».

PIL использует свои коэффициенты, потому просто давайте просмотрим результат:

Да, мы немного потеряли в качестве из-за того, что растянули изображение с помощью matplotlib. Однако инструмент действительно работает (для сравнения можете реализовать мою первоначальную идею про среднее арифметическое).

Что мы хотим? Массив!

Далее мы будем использовать инструменты NumPy, потому желательно конвертировать изображение в np.array:

Да, конструктор массива принимает изображение в качестве аргумента и создаёт вот такой массив. Узнаем форму массива с помощью поля shape.

224 x 225 — размеры нашего изображения. 3 появляется из-за того, что каждый пиксель представлен тремя значениями.

Негатив

Значения цветов могут меняться от 0 до 255. Негатив — эффект «переворачивания» цветов. Достигается он довольно просто: от 255 мы просто отнимаем значение цвета. Т. к. все операции над массивом numpy выполняются векторизированно (поэлементно), то мы просто отнимем от 255 текущий массив:

С помощью нашей функции show() оценим результат:

Swap «left-right»

Следующей задачей у нас является «разворот» изображения слева направо (т. е. правая и левая стороны изображения меняются местами). В NumPy есть замечательная функция fliplr и её «близкий друг» flipud. 

Про их применение можно найти информацию здесь.

Нас интересует только функция fliplr, в которую мы и передадим исходный массив: 

Данный фрагмент кода не изменяет массив, а возвращает новый, что нам и нужно. Оценим результата работы:

Добавим синего

Последний эффект я случайно обнаружил у себя в телефоне, после чего мне показалось хорошей идеей реализовать его. Идея проста — нам нужно сделать изображение как можно синее. Для этого я предлагаю заменить каждое третье «значение пикселя» на максимальное — 255. 

Обратите внимание. Здесь нам нужно было поменять сам массив, однако я не хотел терять исходное изображение

Потому мы копируем последовательность с помощью np.copy(). 

Также имеет место быть другая конструкция:

И, по традиции, выводим результат:

Взгляд за кулисы

Теперь рассмотрим, какая механика стоит за всеми этими операциями — как именно Python создает динамические массивы и как меняет их размер. Для начала практическая демонстрация этого механизма.

import sys # этот модуль позволит нам использовать функцию для определения точного объема, который программа занимает в памяти

n = 10 # задаем пороговое значение

data = [] # создаем пустой список

for i in range(n): 

a = len(data) # количество элементов

b = sys.getsizeof(data) # объем памяти

print (‘Length:{0:3d}; Size of bytes:{1:4d}’.format(a, b))

data.append(n) # увеличиваем размер на единицу

После выполнения кода мы видим следующую картину (рамками обозначены границы выделенных блоков памяти):

По этой таблице можно понять принцип, которому Python следует при выделении ресурсов. Первые два дополнительных блока содержат по четыре ячейки. После того, как программа последовательно занимает эти пространства, интерпретатор делает вывод о ее ресурсоемкости и сразу предоставляет в два раза больше места. В дальнейшем он будет поступать так же — каждый новый блок будет вдвое превышать предыдущий.

Помните, мы говорили про постоянное амортизированное время при добавлении элементов в конец массива? Падение производительности происходит как раз в тот момент, когда нужно выделить новый, в два раза больший блок памяти. Остальные операции занимают одинаковый период.

Этот принцип позволяет программе быстро добрать небольшое количество ресурсов, которых ей не хватает в начале работы. Если же ее аппетиты продолжают расти, она обращается за помощью все реже.

Алгоритм, который позволяет переносить данные из блока A в блок B, выглядит следующим образом:

1. Выделить участок B с нужным объемом памяти, в соответствии с описанным выше методом.
2. Установить, что B = A, i=0,….,n-1, где n — это текущий номер последнего элемента.
3. Установить, что A = B.
4. Добавить элементы в новый массив.

Другими словами, с того момента, как Python создает новый массив B и копирует в него данные, он считает его массивом A. Именно такая элегантная эффективность и снискала этому языку признание тысяч и тысяч программистов по всему миру.

Когда

• Исследовательском анализе данных
• Прототипировании
• Реализации проекта/набора задач с широким охватом по различным научно-практическим областям

• Исследование региональных рынков труда. Подключение к официальному API HH.ru с помощью Python, исследование трендов и зависимостей (, ) + визуализация (Markdown-отчеты) с помощью R
• Приложение на данных Bloomberg. Подключение к официальному API и обработка данных на Python (, ) + вывод результата в dashboard или shiny приложение на R (, )
• Анализ данных социальных медиа. Парсинг и ML стек с помощью Python + эконометрика, network analysis, визуализация и сайт — с помощью R
• Модель для прогнозирования спроса на продукцию в отдельных точках. Блок прогноза спроса на товар в единичных локациях c помощью Python (ML алгоритмы) + макроэкономический прогноз с помощью R (модели общего равновесия и структурные var модели)
• Анализ новостного потока. Парсинг на R () + NLP на Python + параметризованный отчет на R ()

Компьютерные науки

Знание компьютерных наук — базовое требование к любому специалисту в области анализа данных. Только с ними можно эффективно управлять необходимыми инструментами. Каждый шаг в процессе анализа данных задействует программное обеспечение для расчетов (, и другие), а также языки программирования (C++, Java и Python).

Большое количество доступных сегодня благодаря информационным технологиям данных требуют особых навыков для управления ими максимально эффективно. Исследование данных и их извлечение требуют знаний разных форматов. Данные структурированы и хранятся в файлах, а также таблицах баз данных таких форматов, как XML, JSON, XLS или CSV.

Многие приложения позволяют читать такие файлы и управлять информацией в них. Когда дело касается извлечения данных из базы данных, необходимо знание языка запросов SQL или специальных программных инструментов.

Для определенных видов исследованиях данных, такие форматы не используются. Вместо них информация хранится в текстовых файлах (документах или логах) или веб-страницах, а демонстрируется с помощью графиков, измерений, количества посетителей или таблиц . Для парсинга таких данных нужны определенные технические знания (такая техника называется веб-скрапинг или парсинг).

Знание информационных технологий необходимо для понимания того, как использовать различные инструменты: приложения и языки программирования. Они в свою очередь используются для анализа данных и их визуализации.

Цель этого и последующих материалов — предоставить необходимые знания касательно разработки и методологий анализа данных.

Язык программирования Python и различные специализированные библиотеки используются, потому что они вносят решающий вклад в процесс анализа данных: от исследований до публикации результатов предсказательной модели.

Infogram

Infogram — один из самых лёгких для освоения сервисов визуализации данных. Основные функции доступны бесплатно, но если вы хотите чего-то большего, придется заплатить. У сервиса несколько тарифных планов, что позволит подобрать оптимальное сочетание цены и функционала.

Сервис поддерживает множество форматов данных, включая таблицы Excel, Google Maps, анимации сервиса Giphy. Всё это позволит сделать ваш отчёт максимально детальным, понятным и иллюстрированным.

Из минусов — ограниченный бесплатный функционал программы, платный тариф начинается от $19. Кроме того, у сервиса довольно узкие возможности обработки данных, а ещё он не воспринимает кириллицу.

Если вы волнуетесь, что не сможете совладать с подобными программами, то спешим вас успокоить. Работе с такими сервисами, а также анализу и обработке информации вы научитесь на курсе «Python для анализа данных» от SkillFactory.

На курсе вам дадут и теорию, и практику. Вы сможете создавать удобные и красивые отчёты, использовать Python для визуализации данных, работать с big data и различными инструментами. После окончания курса у вас будет не только сертификат, но и готовое портфолио. 

Метод главных компонент

Анализ главных компонент (Principal Components Analysis) — это еще один способ уменьшить размерность данных. Он построен на создании ключевых независимых переменных, которые оказывают наибольшее влияние на функцию. Таким образом можно построить регрессионную модель на основе сильно зашумленных данных. На первом этапе аналитик определяет среди них главные компоненты, далее применяет к ним необходимую функцию.

Важно понимать, что основные компоненты, с которыми аналитик работает в этом случае, фактически представляют собой функцию остальных характеристик. Именно поэтому мы говорим о создании ключевых переменных, а не вычленении их из общего числа

По этой причине применение PCA не подходит для объяснения фактических связей между переменными — это скорее создание имитационной модели на основе известных данных о том или ином явлении.

Виджеты Streamlit

Виджеты дают нам способ контролировать наше приложение. Лучше всего почитать о них в документации Streamlit, но я опишу несколько основных, которые вам возможно пригодятся.

1. Слайдер

Мы уже видели st.slider в действии. Он может быть использован с указанием минимального и максимального значения, а также шага для получения входящих значений в заданном диапазоне.

2. Ввод текста

st.text_input — это самый простой способ получить на вход текст от пользователя — будь это какой-то URL или текст для анализа его тональности. Нужно только передать функции название текстового окна.

Так будет выглядеть получившееся приложение:

Простое приложение с виджетом text_input

Совет: Вы можете просто изменить файл helloworld.py и обновить браузер. Я обычно работаю таким образом: открываю и изменяю файл в Sublime Text и наблюдаю за изменениями в браузере расположенном в рядом с окном редактора.

3. Чекбокс

Один из вариантов использования чекбоксов — это показывать или прятать определенную часть приложения. Или, например, чекбокс может использоваться для выбора булевозначного параметра для функции. использует только один аргумент — метку виджета. 

В этом приложении чекбокс используется для переключения условного оператора:

Простой виджет-чекбокс

4. Выпадающий список

Мы можем использовать для выбора из списка. Обычно эта функция используется для создания выпадающего списка, который позволяет выбрать значение.

Приложение с выпадающим списком

5. Выбор нескольких значений

Мы также можем выбрать несколько значений из выпадающего списка. Для этого можно использовать st.multiselect, которая сохранит несколько выбранных значений в виде списка в переменную options:

Виджет с мультивыбором

Кто такой Fullstack-разработчик и чем занимается?

Требования к фуллстек-разработчикам у современных работодателей не ограничиваются знаниями фронтенда и бэкенда. Специалист должен уметь:

• выполнять базовое обслуживание сервера;
• создавать здоровые изолированные среды разработки с применением контейнерных технологий и подключением виртуальных машин;
• работать с системами контроля версий;
• работать в облаке;
• писать запросы к базам данных;
• отслеживать ошибки работы приложения и писать рекомендации по их устранению.

Программист, который владеет полным стеком технологий, более свободен в выборе инструментов для решения задач в IT. Это бесценный навык для сотрудника, который работает на аутсорсинге или на фрилансе. В крупных компаниях, где остро стоит вопрос делегирования, также востребованы квалифицированные  fullstack-разработчики. Прокачать навыки профессии с нуля предлагает онлайн-школа SkillFactory.

Стоимость

Полная стоимость: 109992 рублей

Цена со скидкой: 65400 рублей

Рассрочка без первого взноса: 5 450 рублей в месяц

Регрессия Кокса

Последняя в нашей подборке модель используется для оценки времени до определенного события. Какова вероятность, что сотрудник проработает в компании 10 лет? Сколько гудков готов ждать клиент, прежде чем положит трубку? Когда у пациента наступит следующий кризис?

Модель работает на основе двух параметров: один отражает течение времени, второй, бинарный показатель определяет, случилось событие или нет. Это напоминает механику логистической регрессии, однако та техника не использует время. Основополагающие предположения для регрессии Кокса состоят в том, что между независимыми переменными нет корреляции и все они линейно влияют на ожидаемое событие. Кроме того, в любой отрезок времени вероятность наступления события для любых двух объектов должна быть пропорциональна.

***

Это не полный список регрессий, которые доступны разработчикам и аналитикам в Python. Однако даже этот перечень дает представление о том, какие возможности для изучения самых разных данных открывает этот язык. Экспериментируйте, изучайте, задавайте вопросы — новые вершины ждут!

_{Текст: Помогаев Дмитрий}

Бэкенд

Бэкенд-разработка обычно остаётся скрытой от глаз пользователя. Бэкендеры занимаются серверной частью работы веб-сайта — то есть той, где всё обрабатывается. Они оперируют набором аппаратно-программных средств для реализации логики работы сайта. Сервер — это такой же компьютер, только более мощный, он отвечает на запросы пользователей, и на нём хранятся данные. Бэкенд-разработчик может пользоваться любыми инструментами, которые есть на сервере, а значит, может использовать любой язык программирования. Их существует довольно много, вот список наиболее популярных:

• Java (и другие языки JVM, например, Scala, Groovy, Clojure);
• PHP;
• .NET (C#, VB);
• Ruby;
• Python;
• Perl;
• Javascript (Node JS);
• Actionscript (Flash Media Server);
• CoffeeScript;
• C (CGI);
• Erlang;
• SQL.

О самых популярных языках программирования можно почитать в удобной подборке от Лоренс Брэдфорд, разработчицы-самоучки с образованием экономиста, которая горит идеей сделать образование доступным каждому. Статья раскроет тему многообразия языков программирования, которыми пользуются бэкендеры. Вы найдете описание и характеристику каждого из них, узнаете, где их можно применять, сколько платят специалисту, владеющему тем или иным языком, а ещё — какие компании используют тот или иной язык. Например, программисты Uber, Pinterest, Mozilla, Spotify, Quora, Pandora, Netflix и Asana используют Python.

Кстати, Python — очень популярный среди бэкендеров язык, он становится популярным и развивается с необыкновенной скоростью. И это неслучайно: язык используется в вебе, мобильных устройствах, приложениях, а также сервисах, использующих машинное обучение. У него простой синтаксис, и по сравнению с другими языками, он окажется более понятным, особенно для новичков. Изучить его можно разными способами: как самостоятельно, так и с помощью экспертов. Например, можно окончить курс по Python для веб-разработки полного цикла. Он длится 6 месяцев, и после его прохождения вы сможете выполнять заказы по Python на фриланс-биржах. А Игорь Мосягин, R&D разработчик Lamoda с опытом программирования на Python более 10 лет, вместе с другими преподавателями помогут не только с освоением теории, но и дадут массу практических заданий.

Можно попутно почитать что-нибудь полезное, взгляните на нашу подборку:

• Python Cookbook, Brian Jones, David Beazley.
• Learning Python, Mark Lutz.
• Programming Python, Mark Lutz.
• Python Pocket Reference, Mark Lutz.

Возвращаясь к описанию позиции бэкенд-разработчика, добавим, что он также работает с базами данных, для чего использует такие инструменты, как MySQL, SQL Server и Oracle. В зависимости от продукта, спектр обязанностей бэкендера может меняться. Он может создавать и комбинировать базы данных, управлять безопасностью, создавать технологии резервного копирования и восстановления.

В каких случаях нужно использовать лямбда-выражения?

1. Когда вам нужно вычислить результат с помощью какого-либо выражения.
2. Когда вы не хотите совершать ненужные вызовы функций.

Не злоупотребляйте лямбда-функциями, используя их без надобности

Если вы хотите определить функцию, которая выполняет конкретную задачу и является важной, то она заслуживает имени. К тому же, так вы сделаете код более читаемым

Анонимные функции зачастую сложно интерпретировать, и у них сложный синтаксис. 

Они не поддерживают строку документации, и поэтому задокументировать их функциональность крайне сложно.

Добавим, что, безусловно, работа веб-разработчика предполагает использование лямбда-выражений, но только по-настоящему хорошие веб-разработчики умеют не использовать эти инструменты там, где это не нужно. Об этом читайте в статье Monty Python. Он подробно описывает преимущества и недостатки лямбда-выражений и приводит примеры их неудачного использования.

Ну а в начале мы писали, что разные языки по-разному используют анонимные функции. Так вот в статье Андрея Мискова об их применении в JS вы найдете подробное описание спорных моментов их использования, а также конкретные примеры для сравнения с другими языками, в том числе, Python. 

Удачного вам погружения в мир разработки и Python!

_{текст: Любицкая Дарья}

Контрольные точки

Попросту говоря, контрольные точки возникают, когда временные ряды меняют направление движения от увеличения к уменьшению или наоборот (они расположены там, где наблюдается наибольшее изменение скорости временного ряда)

Эти места чрезвычайно важны, потому что продавать акции важно на пике цены, а покупать — на локальном минимуме, что максимизирует выгоду. Определение причин, по которым возникают эти точки, поможет прогнозировать будущие колебания стоимости акций

Stocker умеет автоматически находить 10 самых значимых контрольных точек.

microsoft.changepoint_date_analysis()

Changepoints sorted by slope rate of change (2nd derivative):

         Date Adj. Close     delta
48  2015-03-30   38.238066 2.580296
337 2016-05-20   48.886934 2.231580
409 2016-09-01   55.966886 -2.053965
72  2015-05-04   45.034285 -2.040387
313 2016-04-18   54.141111 -1.936257

Контрольные точки имеют тенденцию находиться на пиках и провалах в ценах акций. «Пророк» находит точки смены только на первых 80% данных, но эти результаты все равно полезны, поскольку их можно сопоставить с событиями и новостями. Мы могли бы повторить то, что делали ранее — вручную искать новости Google, происходившие в эти даты. Но было бы предпочтительнее, если бы Stocker сделал это вместо нас. Возможно, вы знаете инструмент Google Search Trends, который показывает относительную популярность поискового запроса с течением времени в результатах поиска Google. Stocker автоматически извлекает информацию об указанном запросе, и выводит результат поверх исходных данных. Чтобы найти и рассчитать частоту поисковых запросов, модифицируем предыдущий вызов функции:

# тот же метод, но с поисковыми запросами
microsoft.changepoint_date_analysis(search = 'Microsoft profit')

Top Related Queries:

                 query value
0  microsoft non profit    100
1      microsoft office     55
2                 apple     30
3         microsoft 365     30
4  microsoft office 365     20

Rising Related Queries:

                  query value
0          microsoft 365    120
1   microsoft office 365     90
2  microsoft profit 2014     70

Помимо графического отображения относительной частоты поиска, Stocker отображает близкие связанные и набирающие популярность для диапазона дат графика запросы. На графике ось y нормализуется между 0 и 1, деля значения по их максимумам, позволяя сравнивать две переменные с разными шкалами. Из рисунка, похоже, следует, что корреляции между поисками «прибыль Microsoft» и ценой акций Microsoft нет.

Зависимость: прямая, обратная или случайная?

Если бы мы нашли корреляцию, все равно возник вопрос о причинной связи. Мы не знали бы, влияют ли поисковые запросы или новости на изменение акций, или наоборот, изменение цены вызвало интерес. Возможно, найдется полезная информация, но есть также много случайных корреляций. (Для осознания таких случайных отношений проверьте юмористические ложные корреляции). Проверьте несколько запросов и проверьте, получается ли найти интересные зависимости.

microsoft.changepoint_date_analysis(search = 'Microsoft Office')

данных Python и Stocker» width=»570″ height=»386″ data-mce-src=»https://neurohive.io/wp-content/uploads/2018/08/1_6aJKZOdBN7Fs3EYTxU3LjA-570×386.png» ><=»» p=»»>

Похоже, что уменьшение количества поисковых запросов «Microsoft Office» приводит к росту цен на акции. Кто-то должен сказать Microsoft об этом.

Сужаем выбор

Итак, именно R и Python можно считать главными языками для эксперта по Data Science. Настоящий профессионал сможет работать и с тем, и с другим, но нужно ли новичку браться сразу за все? Или лучше планировать свой путь постепенно, двигаясь от точки А к точке Б?

Исследование Хейс показало, что вне зависимости от уровня сотрудника, главное требование — это знание Python. Это и неудивительно, ведь этот язык достаточно доступен для понимания новичков и невероятно функционален для применения в самых сложных рабочих задачах. Именно поэтому начинающим специалистам стоит начать именно с него, тем более что Python из года в год получает звание лучшего языка для первого знакомства с программированием.

Когда молодой аналитик овладеет базовым набором операций и поймет общую логику работы с данными, ему будет проще перенести ее на другой инструментарий. Так постепенно можно расширять свои компетенции, причем каждый новый язык будет даваться все легче.

Кто такой fullstack-разработчик на Python и чем занимается?

Fullstack-программист может создать из прототипа работающий продукт, не привлекая для этого сторонних IT-специалистов. Это универсальный разработчик, который должен разбираться в технологиях бэкенда, фронтенда, девопс-практиках. Такой специалист умеет работать в облаке и с базами данных, успешно взаимодействует с командой дизайнеров и тестировщиков. Python и его фреймворки открывают для сферы фуллстек множество возможностей. В частности, архитектура Django поощряет гибкий стиль разработки, который позволяет быстро создавать прототипы на Python и экспериментировать с ними до получения желаемого результата. Чтобы освоить функционал фреймворка Django, дополнить полученные знания использованием скриптового языка JavaScript и его библиотек, желательно пройти курс для новичков от SkillFactory. Это откроет им возможность стартовать в сфере fullstack на позиции Junior.

Стоимость

Полная стоимость: 165000 рублей

Цена со скидкой: 105000 рублей

Рассрочка: 8 750 рублей в месяц

Первый платёж: сразу

Bokeh

Создает интерактивные и масштабируемые графики в браузерах, используя виджеты JavaScript. Имеет три уровня интерфейса, от высокого, который позволяет быстро создавать сложные графики, до низкого. Примеры визуализации:

Используемый код:

import numpy as np

from bokeh.layouts import gridplot from bokeh.plotting import figure, show, output_file

x = np.linspace(0, 4*np.pi, 100) y = np.sin(x)

TOOLS = «pan,wheel_zoom,box_zoom,reset,save,box_select»

p1 = figure(title=»Legend Example», tools=TOOLS)

p1.circle(x,   y, legend=»sin(x)») p1.circle(x, 2*y, legend=»2*sin(x)», color=»orange») p1.circle(x, 3*y, legend=»3*sin(x)», color=»green»)

p2 = figure(title=»Another Legend Example», tools=TOOLS)

p2.circle(x, y, legend=»sin(x)») p2.line(x, y, legend=»sin(x)»)

p2.line(x, 2*y, legend=»2*sin(x)», line_dash=(4, 4), line_color=»orange», line_width=2)

p2.square(x, 3*y, legend=»3*sin(x)», fill_color=None, line_color=»green») p2.line(x, 3*y, legend=»3*sin(x)», line_color=»green»)

output_file(«legend.html», title=»legend.py example»)

show(gridplot(p1, p2, ncols=2, plot_width=400, plot_height=400))  # open a browser