Data Science

С этим тегом используют

IT Программирование Машинное обучение Обучение Python Аналитика Искусственный интеллект Все

119 постов сначала свежее

rick1177

9 месяцев назад

Поиск бесплатного аналога инструмента⁠⁠

Ребят, привет.

Вчера смотрели презентацию Arenadata Catalog.

Возник вопрос, нет ли аналога бесплатного похожего инструмента.

Есть мнение у вас по этому поводу?

SQL Postgresql Data Science Data Текст

Sintoniart

10 месяцев назад

Искусство визуализации данных Оливье Бодини⁠⁠

Оливье Бодини занимается искусством математики. Профессор компьютерных наук, имеющий докторскую степень по чистой математике, в 2020 году он возглавил команду исследователей в MSN (Maison des Sciences Numériques) - инновационном центре при Университете Сорбонны (Париж). Бодини руководит проектом MunstrA, который исследует связи между математикой, компьютерными вычислениями и цифровым искусством.

Его творчество основано на разработке алгоритмов для визуального представления математических сущностей и наборов данных. Он черпает вдохновение из динамики частиц, теории мозаики и случайной генерации комбинаторных структур.

Бодини убежден, что каждый математик на самом деле занимается тем же творчеством, что и художник: один располагает на холсте цвета и формы, другой располагает логические утверждения и доказательства.

Все произведения Бодини вытекают из визуализации данных: его программы извлекают информацию из огромных баз данных - с сайтов и социальных сетей. Таким образом на его цифровых картинах мы видим постоянно меняющуюся динамику цифрового общества и наши коммуникации в виде форм и цвета.

Показать полностью 7

Digital Искусство Наука Математика Компьютер Социальные сети Data Science Программирование Программист Ученые Эволюция Графика Париж Франция Цифровой рисунок Творческие люди Длиннопост

Аноним

10 месяцев назад

Помогите советом⁠⁠

Есть ли на Пикабу люди работающие аналитиком данных?
Как вы пришли к этой профессии?
Как вы ощущаете себя на работе?
Сколько вы зарабатываете?
Хотите ли бросить всё, уехать в лес и кормить медведей?

Опрос Профессия Data Science Текст

KotKarl

11 месяцев назад

Помощь в обучении. Data Engineering⁠⁠

Всем привет! На волне постов про вайтишников, курсы и прочее хотела бы задать такой вопрос.
Кто работает в направлении Data Engineering, может к вам есть непреодолимое желание поделиться знаниями своими знаниями?))) не забесплатно конечно.

Собственно, к истокам вопроса. Я работаю в сфере аналитики (в экселе) и поняла, что мне интересно заниматься именно данными, выстраивать взаимосвязи, настраивать отчеты, какие то интерактивные дашборды (пока что из говна и палок), я прям кайфую, когда получается сделать файл, который максимально автоматизирован и требует от пользователя минимум взаимодействия.
Я покопалась в направлениях IT и мне показалось, что data engineering как раз об этом.

Так вот, я бы хотела позаниматься в онлайн с человеком, который шарит в этой области, который сможет помочь разобраться в основных инструментах/языках (пыталась самостоятельно освоить SQL, но каждый раз по разным причинам забрасывала это дело - видимо было мало мотивации(( ), подсказать учебники/литературу/тренажеры, к кому я могу обращаться с вопросами по непонятным кейсам и тд. Ну я думаю вы поняли.

Напишите, пожалуйста, кто готов побыть таким ментором-наставником-учителем-мастером-сенсеем 😂 и сколько вы бы хотели за это получить денежек.

Поднимите, пожалуйста, в топ, на рейтинг пофиг, тк я читатель ресурса

P.S. По тегам хз, что то поставила 😂

Показать полностью

IT Data Science Обучение Наставник Текст

troitskii

1 год назад

Простыми словами про метрики в ИИ. Классификация. Confusion matrix, Accuracy⁠⁠

Привет, Пикабу! Меня зовут Александр Троицкий, я автор канала AI для чайников, и я запускаю серию коротких статей по метрикам качества моделей для машинного обучения!

Confusion Matrix - это основа основ результатов моделей ИИ, а Accuracy (или точность) - самая простая метрика. Сегодня разберемся что это такое и как они считаются.

Зачем вообще нужны метрики в моделях ИИ? Чаще всего их используют, чтобы сравнивать модели между собой, абстрагируясь от бизнес метрик. Если вы будете смотреть только на бизнес-метрики (например, NPS клиентов или выручка), то можете упустить из-за чего реально произошло снижение или повышение показателей вашего бизнеса. Например, вы сделали новую версию модели лучше предыдущей (метрики модели лучше), но в то же самое время пришёл экономический кризис и люди перестали покупать ваш продукт (упала выручка). Если бы в этой ситуации вы не замеряли показатели модели, то могли бы подумать, что из-за новой версии модели упала выручка, хотя упала она не из-за модели. Пример довольно простой, но хорошо описывает почему нужно разделять метрики модели и бизнеса.

Для начала надо сказать, что метрики моделей бывают двух типов в зависимости от решаемой задачи:

1. Классификации - это когда вы предсказываете к чему именно относится то или иное наблюдение. Например, перед вами картинка и вы должны понять, что на ней, а ответа может быть три: это либо собачка, либо кошечка, либо мышка.

К одному из под-методов классификации относится бинарная классификация: либо единичка, либо нолик. То есть мы предсказываем либо перед нами кошечка, либо это не кошечка.

2. Регрессии - это когда вы предсказываете какую-то величину на основании предыдущего опыта. Например, вчера цена биткоина была на уровне 32.000 долларов, а на завтра вы прогнозируете ее на уровне 34.533 доллара. То есть вы ищете какое-то число.

Соответственно метрики, на которые смотрят при работе с моделями тоже разные. В этом посте я расскажу именно про классификацию.

Confusion matrix

Для начала надо усвоить таблицу снизу. Она называется confusion matrix (матрица ошибок). Допустим, наша модель предсказывает купят ли некие люди слона. Потом мы пошли продавать им слона и оказалось, что часть людей слона купили, а часть - не купили.

Так вот результаты такого исследования можно разбить на четыре группы:

Модель сказала, что человек купит слона и он купил слона! -> True Positive (TP)
Модель сказала, что человек не купит слона, а он взял и купил слона! -> False Negative (FN)
Модель сказала, что человек купит слона, но он не купил его, когда ему предложили -> False Positive (FP)
Модель сказала, что человек не купит слона. И он действительно его не купил -> True Negative (TN)

Accuracy

Теперь давайте разберем самую простую и базовую метрику качества, про которую чаще всего говорят заказчики, не понимающие в ML. Называется она accuracy или точность. Смотрим выше на confusion matrix и запоминаем как считается точность модели:

Accuracy = (TP+TN)/(TP+TN+FP+FN)

Accuracy используют редко, потому что она дает плохое представление о качестве модели, если у нас не сбалансированны классы. Например, у нас есть 100 картинок котиков и 10 картинок собачек. Пускай для упрощения скажем, что котики - это 0, а собачки - это 1 (перейдем к бинарной классификации). В данном примере котики и собаки - это два класса. Собак меньше, чем котиков в 10 раз - значит выборка из картинок не сбалансирована.

Например, наша модель правильно определила 90 котиков из 100. Получается True Negative = 90, False Negative = 10.

Еще наша модель определила правильно 5 собачек из 10. Получается True Positive = 5, False Positive = 5.

Подставив данные в нашу формулу получим, что accuracy тут равен 86,4. Однако если бы мы просто сказали, что на всех картинках котики, то получили бы accuracy 90, хотя для этого и никакой модели и не нужно. И вот казалось бы, угадывая достаточно много картинок (аж 86%!) наша модель на самом деле плохая.

Заключение

В следующей статье я продолжу рассказывать про метрики ИИ, в том числе более ходовые Precision, Recall, F-score, ROC-AUC. А дальше коснусь метрик регрессии: MSE, RMSE, MAR, R-квадрат, MAPE, SMAPE.

Если вам интересно знать про ИИ и машинное обучение больше, чем рядовой человек, но меньше, чем data scientist, то подписывайтесь на мой канал в Телеграм. Я пишу редко, но по делу: AI для чайников. Подписывайтесь!

Показать полностью 1

[моё] Искусственный интеллект IT ChatGPT Data Science Аналитика Метрики Длиннопост

troitskii

1 год назад

Простыми словами про метрики в ИИ. Регрессия. MSE, RMSE, MAE, R-квадрат, MAPE⁠⁠

Привет, Пикабу! Меня зовут Александр Троицкий, я автор канала AI для чайников, и я продолжаю серию коротких статей по метрикам качества моделей для машинного обучения!

Что такое регрессия?

Задача регрессии в машинном обучении — это тип обучения в ИИ, когда модель обучается на данных с непрерывным значением, чтобы предсказывать его на основе одного или нескольких входных параметров. Отличие регрессии от задач классификации заключается в том, что регрессия предсказывает непрерывные значения (например, цену на дом, температуру, количество продаж), в то время как классификация предсказывает категориальные метки (например, да/нет, красный/синий/зеленый).

То есть задача регрессии предсказывает какую-то цифру, а задача классификации - это как выбор в тесте из нескольких вариантов ответа.

Пример

Давайте представим, что мы - доска объявлений типа Авито или Циана. Мы хотим подсказывать пользователю в интерфейсе по какой цене ему лучше разместить свою квартиру на основании множества факторов, например:

Местоположение квартиры
Площадь
Этаж
Ремонт
Год постройки здания

В итоге мы выводим пользователю рекомендуемую цифру в евро.Мы предсказали стоимость 10 квартир, а через месяц узнали за сколько их на самом деле продали.

Простыми словами про метрики в ИИ. Регрессия. MSE, RMSE, MAE, R-квадрат, MAPE IT, Программирование, Python, Data Science, Искусственный интеллект, Метрики, Telegram (ссылка), Длиннопост

Далее мы проведем с этими результатами нехитрые вычисления:

Вычтем из предсказанной цены реальную цену (первый столбик)
Возведем эту разницу в квадрат (второй столбик)
Возьмем корень из этого квадрата (третий столбик)

Получим следующие результаты на нашем примере:

P.S. да, можно просто взять разницу по модулю, но более умные математики говорят, что это все-таки не одно и то же - можете почитать об этом отдельно

MSE

Если мы возьмем второй столбик из зеленой таблицы выше, сложим все числа в нем, а потом поделим на количество этих чисел (возьмем среднюю), то получим MSE или среднюю квадратическую ошибку. В нашем случае:

MSE = 3353809295

Большое число! Из-за его величины оно сложно интерпретируется с точки зрения бизнеса. Чаще эту метрику используют при разработке моделей, когда важно наказывать большие ошибки сильнее, чем маленькие, так как ошибка возрастает квадратично. Это делает MSE чувствительной к выбросам. MSE используют, если большие ошибки недопустимы и должны сильно влиять на модель.

RMSE

RMSE или среднеквадратическая ошибка - это младший брат MSE. Чтобы ее посчитать нужно просто взять квадрат из MSE!

В нашем случае получится 57912.

RMSE также штрафует за большие ошибки, но в отличие от MSE, масштаб ошибки аналогичен исходным данным, что облегчает интерпретацию. Это делает RMSE хорошим выбором для многих практических задач, где важна интерпретируемость результата.

MAE

MAE или средняя абсолютная ошибка считается по третьем столбику из зеленой таблички выше. Нужно взять сумму корней из квадрата разницы между предсказанной ценой и реальной ценой и поделить ее на количество наблюдений. Проще говоря, берем среднее из третьего столбика.

В нашем примере MAE = 49243

MAE менее чувствительна к выбросам по сравнению с MSE и RMSE. Это делает её предпочтительным вариантом, когда выбросы присутствуют в данных, но не должны сильно влиять на общую производительность модели.

Немного усложним нашу зеленую табличку

Чтобы разобраться с тем как считается R-квадрат и MAPE нужно дополнить нашу зеленую табличку еще двумя стобиками:

Вычтем из предсказанной цены среднюю предсказанную цену и возведем это в квадрат (четвертый зеленый столбик 4). P.S. Не спрашивайте зачем это нужно и какой в этом практический смысл - просто сделайте :)
Поделим третий зеленый столбик на предсказанную цену квартиру из желтой таблички. То есть поделим разницу между предсказанной и реальной ценой квартиры по модулю на предсказанную стоимость квартиры. (пятый зеленый столбик)

Коэффициент детерминации (R квадрат)

Чтобы его получить надо из единицы вычесть разницу суммы второго и четвертого зеленых столбцов.

R квадрат = 1 - (сумма 2 зеленого столбца / сумма 4 зеленого столбца)

В нашем случае R квадрат = 85,2%

R-квадрат измеряет, какая доля вариативности зависимой переменной объясняется независимыми переменными в модели. Это хороший способ оценить адекватность модели: близость к 1 говорит о хорошем объяснении данных моделью. R-квадрат лучше всего подходит для сравнения моделей с одинаковыми данными.

MAPE

Средняя абсолютная процентная ошибка или MAPE - это среднее пятого зеленого столбца.

В нашем случае = 14,2%

MAPE измеряет отклонение прогнозов от фактических значений в процентах и является хорошим выбором, когда нужно легко интерпретируемое показание ошибки в процентном отношении. Однако MAPE может быть неэффективной, когда в данных присутствуют нулевые или очень маленькие значения.

Excel файл с примерами

Вы можете найти эксель файл с этими цифрами, бесплатно его скачать и собственноручно поиграться со значениями в нем вот в этом посте в моем телеграмм канале

Заключение

Поздравляю! Вы узнали про основные метрики в задачах регрессии!

Показать полностью 3

[моё] IT Программирование Python Data Science Искусственный интеллект Метрики Telegram (ссылка) Длиннопост

troitskii

1 год назад

Как работает самая популярная у дата саентистов модель машинного обучения: градиентный бустинг (XGBoosting) на пальцах⁠⁠

Привет, Пикабу! Меня зовут Александр Троицкий, я автор канала AI для чайников, и сегодня я расскажу про самую популярную у дата саентистов модель машинного обучения - градиентный бустинг.

Что это за модель?

Если брать определение из словарика, то градиентный бустинг - модель машинного обучения, решающая задачи классификации и регрессии. Она состоит из ансамбля более слабых моделей (чаще всего дерево решений) и учится последовательно на ошибках предыдущей модели.

Но здесь я хочу упростить все сложные статьи с кучей математических терминов, коих в интернете немало, поэтому просто предлагаю разобрать это определение бустинга простыми словами:

"Решает задачи регрессии и классификации" - это значит, что модель может выбирать из нескольких заранее готовых ответов (котик на фото или пёсик - это классификация), так и угадывать какое-то число (сколько стоит квартира от млн рублей до млрд рублей - это регрессия).
"Состоит из ансамбля более слабых моделей" - это значит, что внутри нее сидит не одна модель, а множество. И вместе они каким-то образом принимают решение как ответить окончательно. В случае с бустингом модели принимают решения и исправляют ответы предыдущих последовательно. Что это за последовательность я подробно покажу на примере ниже.
"Чаще всего состоит из деревьев решений". Дерево решений - это простой алгоритм машинного обучения. Для наглядности давайте представим, что у нас есть 4 квартиры, на основании которых мы хотим научиться оценивать стоимость квартиры. Само собой, в реальности мы бы делали модель на основании миллионов примеров стоимости квартир, но для упрощения мы возьмем 4 шутки:

Как работает самая популярная у дата саентистов модель машинного обучения: градиентный бустинг (XGBoosting) на пальцах IT, Искусственный интеллект, Аналитика, Data Science, Инновации, Длиннопост

Пример с квартирами

Вот какие выводы (примерно) сделал бы наш просто алгоритм дерева решений:

Результаты модели "дерево решений" на примере с квартирами

"Учится последовательно на ошибках предыдущей модели" - это значит, что мы сначала обучаем какую-то простую модель, потом смотрим, где мы ошиблись, и обучаем новую модель поверх первой, которая исправляет изначальные значения первой модели. Так повторяется какое-то количество раз, и в итоге мы складываем значения всех итераций (при регрессии). Давайте разберемся на примере с квартирами.

Как работает и обучается модель градиентного бустинга (XGBoosting) на примере?

Для начала наша модель предсказала всем квартирам одинаковую стоимость (очень слабая модель).

Всем предсказали стоимость 2.250.000 рублей

Таким образом, вычтя из реальной стоимости квартиры предсказанную нашей моделью величину, мы получаем ошибки нашей модели.

Ошибки после 1 шага, на них будем обучать 2 шаг

Именно на них будет обучаться следующая модель. Ее цель - уменьшить эти ошибки. При этом модель будет обучаться на тех же факторах, что и первая модель (местоположение и число квадратных метров). Во время следующей итерации наша модель решила добавить к изначально предсказанной стоимости 200.000 рублей квартирам в центре и вычесть 200.000 рублей квартирам на окраине.

Как изменили предсказания после 2 шага

Таким образом, у нас получилась новая предсказанная стоимость квартир и новые ошибки.

Результаты после 2 шага и ошибки б

Дальше мы проводим еще один шаг обучения. На этот раз бустинг решил уменьшить предсказанную стоимость квартирам на окраине с площадью меньше 40 метров. Уменьшил он эту стоимость на 500.000 рублей.

Результаты после 3 шага обучения

Ну и после 4 шага обучения алгоритм решил увеличить стоимость на 500.000 рублей квартирам площадью больше или равной 70 метрам в центре . Вот что получилось.

Результаты после 4 шага обучения

Итак, в итоге у нас получилась модель, которая обучилась на 4 шагах и в итоге предсказывает стоимость квартиры с погрешностью в 50.000 рублей.

Наш финальный алгоритм выглядит таким образом:

Базово оцени квартиру в 2.250.000 рублей
Если квартира в центре, добавь 200.000 рублей. Если она на окраине, вычти 200.000 рублей.
Если эта квартира на окраине и ее площадь меньше 40 метров, вычти еще 500.000 рублей.
Если квартира в центре и она больше или равна 70 метрам, добавь к стоимости 500.000 рублей.

Этот пример иллюстративный. Он описывает механику работы градиентного бустинга. В реальной жизни, конечно, этот пример бустинг решил бы с мЕньшей ошибкой за первое же обучение из-за маленького количества наблюдений.

Что еще стоит знать про модели бустинга?

У градиентного бустинга есть два основных гиперпараметра. Гиперпараметр - это то, что вы задаете модели как ограничение. С помощью них дата саентисты могут изменять модель, ничего не меняя в принципах ее работы. В основном тюнинг гиперпараметров используется, чтобы не дать модели переобучиться и показать хорошую предсказательную силу.

В нашем примере, переобучение модели - это когда модель хорошо предсказывает стоимость конкретно этих 4 квартир, но если ей дать другую квартиру, то она предскажет ее стоимость отвратительно.

Так вот у градиентного бустинга в качестве основных гиперпараметров есть learning rate и количество шагов обучения. Разберем каждый из них:

Количество шагов обучения - это сколько раз мы дообучаем модель на ошибках предыдущей. В нашем примере мы сделали 4 шага. Чем больше выборка, тем больше шагов обучения допустимо делать.
Learning rate - это то, на сколько мы можем исправлять предсказания предыдущего алгоритма. В нашем примере мы не ограничивали этот параметр, но часто рекомендуют ставить его меньше 0.2. Чем меньше этот параметр, тем больше возможностей вы оставляете для будущих шагов для улучшения качества модели.

Заключение

Поздравляю! Вы узнали про то как работает градиентный бустинг!

Показать полностью 8

[моё] IT Искусственный интеллект Аналитика Data Science Инновации Длиннопост

Блог компании

VSKurs

1 год назад

ТОП-15 лучших курсов Data Science: обучение Data Scientist онлайн с нуля для начинающих, бесплатные + платные⁠⁠

В этой статье сравниваем ТОП-15 лучших онлайн-курсов по обучению Data Science + рассматриваем по рейтингу бесплатные курсы по Дата Сайнс.

Data Science представляет собой междисциплинарную область, которая применяет методы, процессы, алгоритмы и системы для извлечения знаний и инсайтов из структурированных и неструктурированных данных. Она объединяет статистику, машинное обучение, анализ данных и визуализацию для принятия обоснованных решений, основанных на данных. Data Science находит широкое применение в различных областях, таких как бизнес, медицина, финансы и другие.

ТОП-5 лучших курсов Data Science

1. Курс Data Scientist с нуля до Junior (Skillbox) — 826 отзывов

Информация о курсе: стоимость — 5 033 ₽ /мес. в рассрочку на 22 месяца, длительность курса - 9 месяцев

Особенности: до 9 проектов в портфолио, 2 специализации на выбор. Помощь в трудоустройстве. Выдаётся сертификат установленного образца. Курс Data Science подходит для новичков, программистов и начинающих аналитиков.

Погрузитесь в аналитику данных и машинное обучение, выбрав направление, которое вам ближе. Оттачивайте навыки на реальных проектах и становитесь востребованным специалистом.

Кому подойдёт этот курс:

Новичкам
Нет необходимости в техническом образовании или опыте в IT.
С нуля освоите Python, SQL, научитесь собирать и анализировать данные, подтянете математику и статистику. Примените полученные знания на реальных задачах и уже через год сможете начать работать.
Программистам
Курс прокачает ваше аналитическое и алгоритмическое мышление. Вы научитесь выявлять потребности бизнеса, строить модели машинного обучения и применять Python для решения задач с данными. Пройдёте полный процесс от сбора данных до деплоя модели.
Начинающим аналитикам
Научитесь формулировать гипотезы и делать выводы на основе данных, писать эффективный код на Python и превращать сырые данные в полезную информацию для компании.
Будете обучать модели и прогнозировать результаты, улучшите свои навыки и увеличите скорость работы, что поможет вам в карьерном росте.

Чему вы научитесь:

Аналитическое мышление
Разрабатывать планы решения проблем, выдвигать и проверять гипотезы, интерпретировать результаты и представлять их руководству.
Математика и статистика
Полные курсы по математике, теории вероятностей и статистике помогут вам вспомнить школьную программу и получить дополнительные знания, которые обычно преподают в вузах.
Извлечение данных
Чтение файлов различных форматов с помощью Python, написание запросов к API, получение, очистка и сохранение данных.
Понимание устройства баз данных и освоение SQL.
Аналитические модели
Строить воронки продаж для интернет-магазинов, проводить когортный анализ и предсказывать выручку компании.
Модели машинного обучения
Начнёте с простых моделей, постепенно разберётесь в алгоритмах и научитесь решать задачи регрессии, классификации и кластеризации.
Инструменты дата-сайентиста
Освоите Python, Git, визуализацию данных в Power BI. Будете уверенно работать с Jupyter Notebook и строить пайплайны в Airflow.

Уровни курса:

Первый уровень: базовая подготовка (5 месяцев)
Пробуете себя в роли аналитика и специалиста по машинному обучению. Получаете фундаментальные знания и навыки для освоения любого из направлений.
Второй уровень: специализация и трудоустройство (4 месяца)
Выбираете сферу для развития и углубляетесь в неё. Закрепляете знания на практике, решая задачи с реальными данными и участвуя в соревнованиях на Kaggle или командных проектах.

Через 9 месяцев после начала курса — трудоустройство на позицию junior.

Data Scientist: обучение с нуля →

2. Курс Data Scientist: быстрый старт в профессии (GeekBrains) — 1110 отзывов

Информация о курсе: стоимость — 3 839 ₽ / мес. в рассрочку на 36 месяцев, длительность курса - 80 часов теории, 450 часов практики

Особенности: добавите в своё портфолио 2 сильных проекта, получите сертификат об окончании курса, а также помощь в трудоустройстве.

Изучите основы Data Science и выберите своё направление: машинное обучение, анализ данных или дата-инженерию.

Навыки, которые вы приобретёте:

Извлечение данных из файлов, API и баз данных.
Работа с большими данными.
Проведение разведывательного анализа данных.
Формулирование и проверка гипотез.
Навыки ML-инженера: создание и внедрение моделей машинного обучения, оценка их качества.
Навыки Data-инженера: развертывание программной инфраструктуры для сбора, обработки и хранения данных, тестирование кода.

Программа обучения Data Science:

Основы Data Science.
Машинное обучение (по выбору).
Инженер данных (по выбору).
Аналитик данных (по выбору).
Итоговый проект.
Дополнительные курсы: основы математики, основы статистики и теории вероятностей, Git, развитие карьеры разработчика.

Подробнее о курсе Data Science →

3. Курс Профессия Data Scientist (Skillbox) — 826 отзывов

Информация о курсе: стоимость — в рассрочку - 9 000 ₽ / мес., длительность курса - 12 месяцев

Особенности: Бесплатный доступ к 3 модулям. До 9 проектов в портфолио, помощь в трудоустройстве.

Попробуйте свои силы в аналитике данных и машинном обучении, детально изучите интересующее вас направление. Практические навыки отточите на реальных проектах, став востребованным специалистом.

Кем вы станете после курса?

Специалист по машинному обучению:
Анализировать большие объёмы данных. Создавать модели для прогнозирования в бизнесе, медицине и промышленности. Обучать нейросети, разрабатывать аналитические системы и рекомендательные сервисы на основе алгоритмов машинного обучения. Продвигаться в областях обработки естественного языка и компьютерного зрения.
Аналитик данных:
Помогать бизнесу принимать обоснованные решения на основе данных. Собирать и анализировать информацию, выявлять аномалии в метриках. Находить закономерности, формулировать гипотезы и проверять их через моделирование. Визуализировать результаты работы с помощью графиков и диаграмм.

Содержание обучения:

Первый уровень: Базовая подготовка. Введение в Data Science.
Второй уровень: Специализация и трудоустройство.
Специализация 1: Машинное обучение. Специализация 2: Дата-аналитик. Трудоустройство с поддержкой Центра карьеры.
Третий уровень: Повышение квалификации.
Специализация 1: Machine Learning PRO. Специализация 2: Data Analyst PRO.
Дополнительные курсы:
Основы статистики и теории вероятностей.
Основы математики для Data Science.

Подробнее о курсе Data Science →

4. Курс Специалист по Data Science (SkillFactory) — 427 отзывов

Информация о курсе: стоимость — в рассрочку на 36 месяцев - 6 936 ₽ / мес., длительность курса - 12 месяцев

Особенности: дипломы о профпереподготовке МИФИ и Skillfactory.

Приобретаемые навыки:

Основы Python: Работа с ключевыми конструкциями и структурами данных.
Рекомендательные системы: Применение алгоритмов для их создания.
Анализ данных: Использование библиотек Pandas, Seaborn, Matplotlib для анализа и предобработки данных.
Доступ к данным: Извлечение данных из веб-источников и по API.
Модели машинного обучения: Создание моделей для решения задач Data Science и оценка их эффективности.
Математический анализ: Применение методов математического анализа, линейной алгебры, статистики и теории вероятностей для обработки данных.
Платформы и сообщества: Работа с GitHub и Kaggle.
Временные ряды: Построение моделей на основе временных рядов.

Программа обучения:

Адаптационная неделя
Проектная работа
Выравнивающий курс по математике
SQL и базы данных
Программирование на Python
Высшая математика для машинного обучения
Менеджмент для наук о данных
Классическое машинное обучение
Глубокое обучение в науках о данных
Статистика и A/B тестирование
Проектная работа
Внедрение моделей машинного обучения
Проектный практикум: Групповой дипломный проект по задачам от партнеров.
Защита и презентация дипломных проектов.

Подробнее о курсе Data Science →

5. Курс Data Scientist с нуля до middle (Нетология) — 215 отзывов

Информация о курсе: стоимость —182 400 ₽ - 202 400 ₽ или рассрочка на 36 месяцев - от 5 333 ₽ / мес., длительность курса - 24 месяца

Особенности: возможность подобрать индивидуальный темп обучения. Добавите более 20 проектов в портфолио и получите диплом о профессиональной переподготовке.

Чему вы научитесь:

Работа с базами данных:
Извлекать данные с помощью SQL, выгружать их в нужном формате, создавать и управлять собственными БД, работать с хранимыми процедурами и функциями.
Использование Python и библиотек:
Очищать и преобразовывать данные, проверять гипотезы, выявлять скрытые закономерности и визуализировать результаты.
Математика и статистика:
Освоите необходимые математические методы для решения задач машинного обучения и построения нейросетей.
Построение моделей машинного обучения:
Конструировать признаки, строить классические модели машинного обучения, анализировать временные ряды и создавать рекомендательные системы.
Обучение нейронных сетей:
Проверять гипотезы, строить многослойные нейронные сети, выявлять скрытые аномалии в данных.
Лидерство в Data-проектах:
Формулировать гипотезы, выявлять потребности, структурировать и визуализировать результаты, работать в команде и находить общий язык с заказчиком.

Программа курса:

Погружение:
Изучите основы аналитического мышления, узнаете, откуда берутся данные, научитесь определять ключевые продуктовые метрики и создавать дашборды.
SQL, Python и Big Data:
Освоите ключевые навыки для старта в профессии Data Scientist и сможете искать работу на младшей позиции уже после этого этапа.
Deep Learning и нейронные сети:
Получите расширенные знания и научитесь работать с нейронными сетями. Повысите свою квалификацию до уровня middle, что позволит претендовать на большее количество вакансий.
Дипломный проект — ML-модель для решения профессиональных задач:
Выберите тему самостоятельно (например, прогнозирование продаж, распознавание объектов на фото или видео, анализ временных рядов или текста). Вам будет помогать дипломный руководитель, предусмотрены 4 индивидуальных консультации с экспертом.
Специализация на выбор (Продвинутый тариф):
Углубитесь в особенности работы с медицинскими и промышленными данными, решите типичные задачи для этих сфер. Специализированные навыки повысят вашу профессиональную ценность. Стажировка в компании «Северсталь.Диджитал» поможет получить полезный опыт в промышленном Data Science.

Подробнее о курсе Data Science →

6. Курс Data Scientist (ProductStar) — 58 отзывов

Информация о курсе: стоимость — 95 175 ₽ или рассрочка - 4 406 ₽ / мес.

Особенности: доступ к материалам курса на 3 года. Помощь в трудоустройстве. Сертификат по окончанию обучения.

Программа обучения:

Извлечение и подготовка данных: SQL
Основы программирования: Python
Построение моделей: Machine Learning
Глубокое обучение и обработка естественного языка: Нейронные сети и NLP
Создание рекомендаций: Рекомендательные системы
Заключительный проект и карьерная поддержка: Дипломная работа и помощь с трудоустройством.

Приобретаемые навыки:

Уверенное владение SQL
Работа с Python, Git, и GitLab
Проведение машинного обучения
Разработка рекомендательных систем
Построение аналитических систем
Уверенное использование искусственного интеллекта.

Подробнее о курсе Data Science →

7. Курс Data Science (SF Education) — 168 отзывов

Информация о курсе: стоимость — 28 875 ₽ или рассрочка на 24 месяца - 1 203 ₽ / мес., длительность курса - 4 месяца

Особенности: Доступ в закрытое сообщество с вакансиями для выпускников. Безлимитный доступ к материалам курса и к учебной литературе, созданной экспертами. Официальное удостоверение о повышении квалификации.

Получите основные знания и навыки для успешной карьеры в Data Science. Вы научитесь:

Работать с базами данных
Программировать на Python
Решать задачи вычислительных финансов.

Программа курса включает:

Введение в индустрию и карьерные перспективы
Обработка и анализ данных с помощью SQL
Программирование на Python
Работа с API
Основы математики
Data Science
Корпоративные финансы
Финансовые производные инструменты: фьючерсы и опционы
Стохастические процессы в финансах
Структурированные финансы.

Подробнее о курсе Data Science →

8. Курс Основы работы с большими данными (Data Science) (Специалист)

Информация о курсе: стоимость — 14 990 ₽ - 36 000 ₽, длительность курса - 16 ак. ч. + 4 ак. ч. самостоятельно

Чему вы научитесь:

Определять источники информации и формулировать требования к ним
Применять стандартный процесс CRISP-DM в своей организации
Подбирать команду для работы с Big Data
Выбирать инструменты для практической работы с данными
Использовать специализированные инструменты Excel, такие как «Пакет анализа данных» и «Тренды»
Применять методы «дерева решений»
Подбирать подходящие инструменты и методы для решения задач машинного обучения и взаимодействовать с разработчиками
Использовать методы классификации данных для машинного обучения
Подбирать тестовые и обучающие выборки для достижения лучших результатов анализа
Работать с инструментами nocode (на примере одного инструмента)
Организовывать реорганизацию компании для применения управления на основе Big Data.

Программа курса:

Области применения Big Data. Типовые задачи
Сбор и подготовка данных. Методика CRISP-DM
Основы математической статистики и ANOVA. Надстройка Excel «Пакет анализа»
Прогнозирование продаж. Введение в машинное обучение. Корреляция и регрессионный анализ
Классификация и распознавание образов, видео, речи и текста. Нейронные сети и примеры их применения
Исследование социальных сетей и прогнозирование поведения пользователей. Социальные графы и деревья решений. Примеры применения
Продвинутые инструменты: глубокое машинное обучение, искусственный интеллект, нечеткие множества
Профориентация в Data Science. Выводы и рекомендации по организации работы команды.

Подробнее о курсе Data Science →

9. Курс Специалист по Data Science (Яндекс.Практикум)

Информация о курсе: стоимость — 112 000 ₽ - 228 000 ₽, длительность курса - 8 месяцев. Обучение Дата Сайнтист.

Программа обучения:

Введение в Python и анализ данных
Основные принципы Python
Предварительная обработка данных
Исследовательский анализ данных
Статистический анализ данных
Первый крупный проект
Вы освоите предварительное исследование данных, сформулируете и проверите гипотезы. Обнаружите закономерности в данных о продажах игр.
Линейные модели в области машинного обучения
Обучение с учителем: оценка качества модели
Второй крупный проект
Вы разработаете 2 модели машинного обучения и оцените их качество. Создадите пайплайн для упрощения процесса. Смоделируете коэффициент удовлетворенности сотрудников для помощи HR-отделу в прогнозировании текучести кадров.
Машинное обучение в сфере бизнеса
Основы SQL
Численные методы
Временные ряды
Машинное обучение для анализа текста
Компьютерное зрение
Обучение без учителя
Вы познакомитесь с еще одним методом машинного обучения, при котором система решает задачу без заранее размеченных данных, опираясь на их особенности и структуру. Изучите задачи кластеризации и выявления аномалий.
Итоговый проект
Вы подтвердите усвоение новой профессии. Уточните задачу клиента, пройдете все этапы анализа данных и машинного обучения. Теперь без учебных уроков и заданий — все как на реальной работе.
Дополнительный курс: Практика Python
Дополнительный курс: Теория вероятностей
Дополнительный курс: Практика SQL.

Подробнее о курсе Data Science →

10. Курс Data Scientist с нуля (Бруноям) — 28 отзывов

Информация о курсе: стоимость — 108 900 ₽, длительность курса - 8 месяцев

Вы освоите методы, инструменты и технологии, необходимые для обработки данных. Программа обучения включает вебинары, видеоуроки и практические задания.

Вам предстоит изучить следующие технологии:

Основы программирования на Python
Построение моделей машинного обучения
Работа с библиотеками NumPy и pandas
Визуализация данных с использованием matplotlib
Запросы SQL и работа с базами данных
Применение математики в обработке данных
Нейронные сети
Применение методов машинного обучения на практике
Планирование и проведение A/B-тестирования.

Курс онлайн Дата Сайнс →

11. Курс Data Scientist. Интенсив («Level UP») — 23 отзыва

Информация о курсе: стоимость — 68 990 ₽, длительность курса - 3,5 месяца (70+ ак. часов)

По завершении курса вы сможете:

Эффективно выбирать и применять разнообразные алгоритмы машинного обучения в соответствии с поставленной задачей.
Обрабатывать и анализировать данные, проводя необходимую предобработку.
Использовать Python библиотеки для решения задач машинного обучения.
Понимать основные принципы и методы линейной алгебры, статистики и теории вероятностей, необходимые для понимания функционирования алгоритмов машинного обучения.
Решать задачи классификации, регрессии и кластеризации.
Применять методы регуляризации и оптимизации для улучшения качества моделей.
Применять ансамблевые методы для повышения точности моделей.
Работать с изображениями и применять сверточные нейронные сети для задач компьютерного зрения.
Работать с нейронными сетями, использовать transfer learning и решать задачи обработки текста, в том числе с применением BERT и классических методов машинного обучения.

Дата Сайенс: курсы →

12. Курс Data Scientist (Karpov.Courses) — 12 отзывов

Информация о курсе: стоимость — разная, длительность курса - разная

Курсы:

Специалист по глубинному обучению (Deep Learning Engineer)
Вы овладеете основными и передовыми методами глубинного обучения в области обработки естественного языка (NLP) и приступите к развитию в перспективной области Глубинного Обучения.
Специалист по Анализу Данных
Специалист по Обработке Данных
и другие.

Обучение Дата Сайнс →

13. Курс Специалист по Data Science (НИУ ВШЭ) — 10 отзывов

Информация о курсе: стоимость — 465 000 ₽, длительность курса - 18 месяцев

Изучение всех аспектов современного анализа данных: от основ программирования и дискретной математики до машинного обучения, прикладной статистики, Big Data и многого другого.

План обучения Дата Сайнс:

Применение Python для автоматизации и анализа данных
Обучение SQL
Изучение алгоритмов и структур данных
Освоение математики для анализа данных
Прикладная статистика в контексте машинного обучения
Основы машинного обучения
Практическое применение машинного обучения на платформе Spark
Введение в глубокое обучение
Решение прикладных задач анализа данных с онлайн-сопровождением преподавателя
Завершающий проект.

Обучение Data Science →

14. Курс Data Scientist (МФТИ) — 8 отзывов

Информация о курсе: стоимость — 235 000 ₽, длительность курса - до 12 месяцев (8 ак.ч. в неделю)

Учебный план включает в себя следующие разделы:

Основы программирования на Python
Использование модулей для первичного анализа данных
Изучение функций и объектно-ориентированного программирования в Python
Введение в операционную систему Linux и систему контроля версий Git
Знакомство с модулями для выполнения задач машинного обучения
Изучение дискретной математики
Освоение математического анализа
Погружение в линейную алгебру и аналитическую геометрию
Ознакомление с теорией вероятностей
Изучение математической статистики и основ аналитики данных
Понимание принципов математических алгоритмов
Использование современных библиотек для анализа данных
Оценка качества моделей
Введение в основы работы с нейронными сетями.

Дата Сайнс: обучение →

Бесплатные курсы Data Science

Курс Data Science: будущее для каждого (Нетология)

Простым языком мы расскажем о работе аналитика, Data Science, искусственного интеллекта и нейронных сетей. Представим популярные профессии и инструменты, которыми пользуются специалисты.

Учебная программа включает в себя следующие этапы:

Основы науки о данных
Вы познакомитесь с концепциями больших данных, искусственного интеллекта, машинного обучения и Data Science. На примерах будет разобрано, какие задачи решаются с использованием данных.
Инструменты аналитиков
Вы изучите необходимые навыки для работы аналитика и узнаете о распространенных инструментах. Попробуете написать первый SQL-код, который является основным инструментом работы аналитиков.
Различия профессий в аналитике
На примерах будет рассмотрено, какие задачи выполняют аналитики, и вы сможете понять различия между профессиями и выбрать подходящее направление для себя.
Начало карьеры в аналитике
Вы определите уже имеющиеся у вас навыки и узнаете, какие необходимо приобрести в первую очередь. Поймете, как начать карьеру в области аналитики, даже если вы начинаете с нуля.

Курсы по Data Science →

Курс Data Science с нуля (Skillbox Программирование)

В списке вас ждет множество полезной информации о том, как войти в мир Data Science с самых начальных шагов. Мы расскажем, какие знания и умения требуются для того, чтобы стать Data Scientist, и как можно их получить.
Видеоматериалы будут полезны как для новичков в программировании, так и для тех, кто еще не имеет опыта в этой области. Мы продемонстрируем, какие языки программирования необходимо знать для работы в Data Science, и как начать программировать для тех, кто только начинает.

Видеоуроки включают в себя:

Обзор обучения в области Data Science
Процесс обучения модели машинного обучения
Основы языка программирования Python
Работа с компьютерными сетями
Основы анализа данных
и другие.

Data Science: обучение →

Курс Введение в Data Science и машинное обучение (Stepik)

Курс предназначен для знакомства слушателей с основами машинного обучения, прежде всего для тех, кто только начинает свой путь в области Data Science.
Мы предоставим подробное изучение основных теоретических концепций, а также начнем знакомство с библиотеками Pandas и Scikit-learn, которые являются наиболее распространенными инструментами для анализа данных и машинного обучения с использованием языка программирования Python.

Data Scientist: обучение →

Курс Введение в науку о данных (Alison)

Вы ознакомитесь с процессами в области анализа данных, приобретете представление о машинном обучении и изучите модели данных для организации информации. Вас также научат извлекать знания и идеи из структурированных и неструктурированных данных, а также использовать научные методы, процессы, алгоритмы и системы, применяемые в анализе данных.

Data Science: курсы →

Если ищете, где учиться на Data Scientist в России, то посмотрите нашу подборку.

Сколько нужно времени чтобы освоить Data Science?

Время, необходимое для освоения Data Science, зависит от нескольких факторов, таких как ваш текущий уровень знаний, интенсивность обучения, цели и методы, которые вы используете:

Базовые знания (3-6 месяцев):
- Математика и статистика: знание основ математического анализа, линейной алгебры и статистики является фундаментальным.
- Программирование: владение Python или R, знание библиотек, таких как NumPy, pandas, matplotlib, seaborn.
Средний уровень (6-12 месяцев):
- Машинное обучение: изучение алгоритмов машинного обучения, таких как линейная и логистическая регрессия, деревья решений, случайный лес, градиентный бустинг и нейронные сети.
- Практика: работа с реальными данными, участие в конкурсах на платформах вроде Kaggle, выполнение учебных проектов.
Продвинутый уровень (1-2 года):
- Глубокое обучение: освоение сложных методов глубокого обучения, таких как свёрточные нейронные сети, рекуррентные нейронные сети и генеративные модели.
- Инструменты и технологии: знание инструментов, таких как TensorFlow, PyTorch, SQL, Hadoop, Spark.
- Работа над крупными проектами: реализация проектов, решение сложных задач, участие в исследовательских работах.

Таким образом, для достижения уровня, достаточного для начала работы в Data Science, может потребоваться от одного до двух лет интенсивного обучения и практики. Для глубокого освоения и достижения уровня эксперта потребуется больше времени и опыта, возможно, несколько лет.

Можно ли стать Data Science без образования?

Да, можно стать специалистом по Data Science без формального образования. Изучите основы математики и статистики, освоив линейную алгебру и статистику, и выучите программирование на Python или R, включая библиотеки (NumPy, pandas, scikit-learn, TensorFlow). Пройдите онлайн-курсы, практикуйтесь на реальных данных через конкурсы на Kaggle и создавайте проекты, публикуя их на GitHub.

Какая зарплата у Дата Сайентиста?

Зарплата Data Scientist в России варьируется в зависимости от уровня опыта и региона. В Москве зарплаты Data Scientist могут быть следующими:

Junior: от 35 000 до 145 000 рублей в месяц
Middle: от 140 000 до 300 000 рублей в месяц
Senior: от 150 000 до 500 000 рублей в месяц

В Санкт-Петербурге ситуация схожая:

Junior: от 40 000 до 60 000 рублей в месяц
Middle: от 150 000 до 250 000 рублей в месяц
Senior: до 400 000 рублей в месяц

В других крупных городах России, таких как Новосибирск, Екатеринбург, Казань и Нижний Новгород, зарплаты несколько ниже, но всё же остаются довольно высокими для IT-специалистов:

Junior: от 50 000 до 100 000 рублей
Middle: от 100 000 до 250 000 рублей
Senior: до 400 000 рублей в месяц в зависимости от города

Средняя зарплата Data Scientist по России составляет около 200 000 рублей в месяц, но может доходить до 270 000 рублей в зависимости от региона и компании

Кому подойдет Дата Сайнс?

Дата Сайнс (Data Science) – это область, которая подойдет людям с различными интересами и навыками. Основные характеристики и навыки, которые могут помочь определить, кому подойдет работа в этой области, включают:

Интерес к данным и аналитике: если вам нравится работать с большими объемами данных, анализировать их и искать закономерности, Дата Сайнс может быть идеальной областью.
Навыки программирования: знание языков программирования, таких как Python, R или SQL, является важным для работы в Дата Сайнс. Те, кто любит кодировать и автоматизировать процессы, найдут здесь много возможностей.
Математический и статистический склад ума: Дата Сайнс требует хорошего понимания математики и статистики, так как эти дисциплины лежат в основе анализа данных и создания моделей.
Способность решать проблемы: Дата Сайнс включает в себя нахождение решений для сложных задач на основе анализа данных. Креативное мышление и способность разбираться в сложных проблемах — важные качества.
Коммуникационные навыки: способность четко и понятно передавать результаты анализа данных заинтересованным сторонам является ключевым навыком. Это поможет принимать информированные решения на основе ваших выводов.
Любовь к обучению: технологии и методы в Дата Сайнс постоянно развиваются. Готовность постоянно учиться и адаптироваться к новым инструментам и техникам – важное качество.
Внимание к деталям: работа с данными требует точности и внимательности, чтобы избежать ошибок в анализе и интерпретации данных.

Дата Сайнс может быть особенно интересен для людей с фоном в следующих областях:

Информатика и программирование
Математика и статистика
Экономика и бизнес-анализ
Естественные науки и инженерия

Если вы обладаете этими навыками и качествами или готовы их развивать, то Дата Сайнс может стать для вас перспективной и увлекательной карьерой.

Как выглядит работа Дата Сайентиста?

Работа дата-сайентиста (data scientist) включает в себя широкий спектр задач, связанных с анализом данных и разработкой моделей для решения бизнес-проблем. Вот основные этапы и аспекты работы дата-сайентиста:

Сбор данных:
- Источники данных: определение и интеграция данных из различных источников, таких как базы данных, API, веб-сайты и др.
- Очистка данных: обработка сырых данных, устранение пропусков, дубликатов и ошибок.
Исследовательский анализ данных (EDA):
- Анализ и визуализация: первичный анализ данных для выявления закономерностей и аномалий, использование инструментов визуализации (например, matplotlib, seaborn).
- Статистический анализ: применение методов статистики для проверки гипотез и оценки характеристик данных.
Моделирование:
- Выбор модели: определение подходящих алгоритмов машинного обучения (регрессия, классификация, кластеризация и др.) для решения конкретных задач.
- Обучение моделей: обучение моделей на обучающих данных, настройка гиперпараметров.
- Оценка модели: оценка производительности моделей с использованием метрик (например, точность, F1-мера, ROC-AUC) и методов кросс-валидации.
Интерпретация и коммуникация результатов:
- Отчеты и презентации: создание отчетов и презентаций для объяснения результатов анализа и рекомендаций на понятном языке для бизнеса.
- Визуализация данных: представление данных и моделей в наглядной форме с помощью графиков и диаграмм.
Внедрение моделей:
- Программирование и автоматизация: реализация моделей в продуктивной среде, автоматизация процессов анализа данных.
- Мониторинг и поддержка: отслеживание производительности моделей после их внедрения и регулярное обновление.
Работа в команде:
- Взаимодействие с бизнесом: понимание бизнес-требований и перевод их на язык данных.
- Сотрудничество с разработчиками: работа с инженерами по данным (data engineers) для обеспечения инфраструктуры и обработка больших объемов данных.

Технологии и инструменты, используемые дата-сайентистами:

Языки программирования: Python, R.
Инструменты для анализа данных: Pandas, NumPy, SciPy.
Машинное обучение: Scikit-learn, TensorFlow, PyTorch.
Базы данных: SQL, NoSQL (MongoDB).
Визуализация данных: Matplotlib, Seaborn, Plotly, Tableau.
Инструменты для управления проектами: Jupyter Notebook, Git.

Примеры задач дата-сайентиста:

Разработка модели прогнозирования спроса на продукты.
Анализ пользовательского поведения для улучшения клиентского опыта.
Классификация текстов и анализ тональности отзывов клиентов.
Оптимизация рекламных кампаний на основе данных.

Работа дата-сайентиста динамична и требует сочетания технических навыков, аналитического мышления и способности коммуницировать результаты с не-техническими специалистами.

Показать полностью

Удаленная работа Фриланс Обучение Дистанционное обучение Курсы Онлайн-курсы Курсы повышения квалификации Образование Развитие Карьера Учеба Работа Профессия Онлайн-школа Онлайн Полезное Бесплатное обучение Аналитика Data Science Аналитик Блоги компаний Длиннопост YouTube (ссылка)

Посты не найдены

1 2 3 4 5 6 7 8 9 10 11