Привет, коллеги ML инженеры, Data scientist'ы и все, кто интересуется искусственным интеллектом, созданием нейросетей, машинным обучением и анализом данных! Принёс вам пачку вебинаров с интенсива трека Наука о данных курсов повышения квалификации Летней цифровой школы Сбера.
1) Process Mining
Process Mining — это анализ процессов на основе цифровых следов. Объем российского рынка Process Mining на 2024 г. составил 0,9 млрд руб. и будет расти со среднегодовым темпом 69%.
Машинное обучение для Time Series Forecasting. Временной ряд – последовательность некоторых значений по времени. Если рассматриваются одновременно несколько одиночных временных рядов, то такая структура называется многомерный временной ряд. Регулярный временной ряд – временной ряд с равномерными временными интервалами между точками. Имея историю L, делаем прогноз на горизонт H.
4.1) Материалы по прогнозированию на несколько точек вперед:
Taieb, S. B., Bontempi, G., Atiya, A. F., & Sorjamaa, A. (2012). A review and comparison of strategies for multi-step ahead time series forecasting based on the NN5 forecasting competition. Expert systems with applications, 39(8), 7067-7083. – Классическая статья с описанием стратегий (MIMO, recursive, direct, recursive-direct, direct-mimo) и их сравнением на датасете NN5.
Taieb, S. B., & Hyndman, R. J. (2012). Recursive and direct multi-step forecasting: the best of both worlds (Vol. 19). Department of Econometrics and Business Statistics, Monash Univ.. – Статья, в которой авторы представляют rectify-стратегию.
Taieb, S. B. (2014). Machine learning strategies for multi-step-ahead time series forecasting. Universit Libre de Bruxelles, Belgium, 75-86. – Теоретический анализ про bias-variance tradeoff между прямой и рекурсивной стратегиями.
Bao, Y., Xiong, T., & Hu, Z. (2014). Multi-step-ahead time series prediction using multiple-output support vector regression. Neurocomputing, 129, 482-493. – Сравнение различных стратегий (MIMO, recursive, direct) на support vector regression.
An, N. H., & Anh, D. T. (2015, November). Comparison of strategies for multi-step-ahead prediction of time series using neural network. In 2015 International Conference on Advanced Computing and Applications (ACOMP) (pp. 142-149). IEEE. – Сравнение различных стратегий на FFN, но это старая статья, без трансформеров.
Ferreira, L. B., & da Cunha, F. F. (2020). Multi-step ahead forecasting of daily reference evapotranspiration using deep learning. Computers and electronics in agriculture, 178, 105728. – Сравнение LSTM, CNN, CNN-LSTM, FFN и случайного леса с рекурсивной, прямой и MIMO стратегиями
4.2) Стратегии прогнозирования нескольких рядов:
Hertel, M., Beichter, M., Heidrich, B., Neumann, O., Schäfer, B., Mikut, R., & Hagenmeyer, V. (2023). Transformer training strategies for forecasting multiple load time series. Energy Informatics, 6(Suppl 1), 20. – Сравнение local-, global-. multivariate-modelling подходов на примере трансформерных SOTA-архитектур в узком домене.
5) Рекомендательные системы
Рекомендательные модели ML. Что сегодня обсудим? 1. Зачем компании строят рекомендательные системы? 2. Базовые алгоритмы рекомендательных систем 3. Простой baseline без ML 4. Baseline с ML 5. Трансформеры и LLM в рекомендатльных системах
6) AI решения: сокращаем путь от идеи до воплощения
DreamML – Фабрика моделей, Low-Code разработка. Модель машинного обучения в три клика. AI-модели в три клика по методологии Сбера. DreamEA – Сервис пилотирования моделей ML. Запусти бизнес-пилот AI решения сегодня. DreamDE – Автоматизация П1518. Модель машинного обучения в ПРОМ за 3 дня.
Эпоха модерна в социуме охватывает период, когда общество претерпело значительные изменения в результате индустриализации, урбанизации, секуляризации, развития государственных институтов и гражданского общества. Это время противопоставляется традиционному обществу, которое характеризовалось храмовым строем. В древности высшей властью обладали мимы - митрополиты храмов.
Статуя Свободы. Фото Johan Gustafsson. В храме Ники совершался обряд миропомазания на царство.
Считается, что модернизированное общество отличается высоким уровнем гражданской культуры, что создает предпосылки для демократии. Недемократические страны в эпоху модерна объявляются варварскими, отсталыми, и, соответственно, могут быть порабощены странами образцовой демократии, например США.
Как утверждает 90% историков, отстаивающих в том или ином виде норманизм, основанный на шведофильских идеях известных историков времён Екатерины II, греки и римляне считали германцев и кельтов варварами, славян – слугами, а остальные народы – дикарями, сами же считали себя цивилизованными. Метрополии, как известно, прозападно настроенными историками считаются родиной демократии. Особенно почитаются ими Древний Рим, Древняя Греция, Империя Каролингов и Швеция. С учетом многочисленных изменений в современном обществе, все чаще применяется термин "демократия" для обоснования всех форм межгосударственной вражды. Связано это с тем, что в Новое время деление на цивилизованные и нецивилизованные народы сохраняется в форме деления государств на демократичные и недемократичные. Соответственно, считается , что в тех государствах, где больше свободы, там больше демократии, а где больше демократии, там больше инвестиций со стороны других государств, а где больше инвестиций, там выше уровень жизни. В настоящее время самые демократичные государства - это страны с высоким уровнем социальной мобильности, слабым бюрократическим аппаратом и высоким уровнем индивидуальной автономии, продуманным балансом между индивидуализмом и коллективизмом.
Однако стремление человека к свободе и самореализации, подаваемое под соусом демократии, требует создания необходимых условий, что предполагает масштабное перераспределение общественных ресурсов. Это перераспределение должно происходить не только от богатых к бедным, но и от трудоспособных к менее трудоспособным, таким как инвалиды, пожилые и молодые люди. Важно, чтобы частные ресурсы членов общества направлялись на достижение общественных целей, в первую очередь на обеспечение технологического прогресса и создание инфраструктуры. Свобода, в свою очередь, определяется избыточностью инфраструктуры.
Объективная необходимость значительного перераспределения ресурсов в социализме индустриальной эпохи создаёт масштабную бюрократию, которая, осознавая себя как правящий класс, начинает разрушать социализм как систему, стремящуюся к свободе и справедливости. Эта бюрократия, созданная для распределения общественных ресурсов, воспринимает их как свои и считает распределение лишним расточительством. Стремление бюрократии к обладанию распределяемыми ресурсами влечёт за собой гибель социализма. Кроме того, бюрократия расточительна по своей природе, поскольку распределяет общественное, как чужое, и не проявляет склонности к экономии. Это ведёт к расточительному обществу, которое, заменяемое «диким капитализмом», также остаётся неэффективным из-за своего генезиса. Социализм индустриальной эпохи обречён на поражение в глобальной конкуренции из-за собственной расточительности, что способствует неконкурентоспособности emerging economic colonies.
Значимость распределяющей бюрократии в социализме определяется спецификой индустриальных технологий, при которых экономический эффект от сбережения ресурсов ниже, чем от их инвестирования, присущего капитализму. Индустриальный социализм, возникший в противовес несправедливости, оказался под властью бюрократии, что привело к авторитаризму и подавлению технологического прогресса. Современные информационные технологии усиливают конкуренцию и несправедливость, но одновременно упрощают учет и контроль, что важно для социализма. Эти технологии могут сделать демократические процедуры более доступными. Однако контроль над информационной инфраструктурой может привести к тотальному контролю за обществом, создавая противоречия с демократией.
Спасительной пилюлей является тот факт, что угроза информационной диктатуры сопоставима с угрозами традиционной демократии, и глобальная элита считает, что найдет способы борьбы с ней. Мировая элита надеется на современные информационные технологии, которые призваны предоставлять цифровому социализму преимущество перед капитализмом, уменьшая необходимость в распределяющей бюрократии, что позволяет социализму избежать своей слабости. Однако она недооценивает те последствия от эффекта кристаллизации ментальной составляющей общества, которые приведут к откату цивилизации к временам Римской империи и Инквизиции, которые были одновременно в XIII - XVI вв. Этот период, названный Эпохой Возрождения, или Ренессансом, пришел на смену культуры Руси Яра, названной в связи со смещением истории Рима в 1200 г. на 1200 лет назад культурой Средних веков.
Возрождение началось в Риме, столице Римской империи, Первой Арконе после Арконы на острове Рюген, родине римского права и, как ни удивительно, демократии. Древний Рим действительно являлся родоначальником известной нам демократии, так как стоял во главе колониальной системы, поставляющей огромной количество избыточных ресурсов из азиатских колоний. Именно перераспределение ресурсов из азиатских колоний в Рим позволило создать в Римской республике консульскую систему, народный трибунал и сенат.
Изначально право на участие в управлении Римом, называемым до X в. Миром Мар, обладали мимы храмов Яра (Марса), Рода (совр. Собор Святого Петра в Ватикане), Мары (трибунал) и Макоши (римский форум). Обряд миропомазания на царство мимов совершался в храме Ники, которую мы знаем по статуе Свободы в Нью-Йорке.
До IX века н.э. Русь Мары, в частности, Москва Мары на месте совр. Новгорода, строила на территории Руси Яра храмы богини Мары (города с наиболее почитаемыми храмами Мары назывались Москвой и нумеровались) , а более развитая Русь Яра, в частности, Аркона на острове Рюген, строила на территории Руси Мары города, которые назывались Арконами (также нумеровались) в честь столицы, Арконы Яра (1-й Арконой был Рим, 33-й — Ладога-Херсонес Таврический, 35-й — Новгород) на Рюгене.
Помпеи, Италия. На фоне вулкан Везувий. Photo by D Jonez on Unsplash
В 896-906 н.э. на территории засыпанных в 1356 г. лавой и пеплом Помпей были заложены русская Помпея (неверное прочтение начального названия Рома Яра как Ром Рая, РомРеи, PomPeii) и римский Иерусалим (Яр в написании Иер, корень рус, два притяжательных суффикса -ал и -ем, т.е Яра Руси собственность), где был распят в 1087 г Христос. Аркона в 913 - 927 гг. возвела в северной части Помпей храм Макоши, названный в 1106 г. присвоившим его себе Римом Римским форумом. В 1176 г. в восточной части Помпей обосновались евреи,, а через 5 лет, в 1181 г. здесь, а не в Никеях, состоялся Первый Вселенский собор (на 13-й год после взятия Арконы в 1168 г.). На Первом Вселенском соборе в 1181 г. Восточная часть Помпей получила название Иерусалима или "города святого примирения" в том, что Иса есть Богочеловек, что примиряло русский ведизм и учение евреев. В римских Помпеях в то время считали, что Иса Кресень есть пророк, но не Бог, а человек (арианство).
Помпеи, Италия. Photo by Judie Eisenberg on Unsplash
Строительство северной (римской) и южной (русской) частей Помпей продолжалось до 1356 г., когда город стал принадлежать Риму, русские храмы стали римскими, храм Макоши — римским форумом, храм Мары — трибуналом.
В 1550 г. Помпеи были уничтожены горячим пеплом Везувия. В 1556 году произошло извержение вулкана Сомма, также расположенного в районе Неаполя, которое также привело к выбросу пепла, но не имело подтвержденной серьезной разрушительной силы. После извержения Везувия 1550 г. были получены "первые" документальные свидетельства о Помпеях после их разрушения. Всего лишь через несколько десятков лет, в 1592 г. архитектор Доменико Фонтана "обнаружил" часть городской стены, "объяснив" это прокладкой канала от реки Сарно. Раскопки же начались только в 1748 году под руководством Роке Хоакина де Алькубьерре. Впоследствии Везувий извергался множество раз. Например, извержение 1944 года привело к разрушению городов Сан-Себастьяно и Масса.
Тем временем на севере происходило онемечивание Славии южной Балтики, а также распространение христианства. В 1147 г. состоялась военная кампания, организованная европейскими (саксонскими, датскими и польскими) феодалами против вендов, проживавших на территории между реками Эльба, Траве и Одер. В ходе Вендского крестового похода Папа Евгений III назначил Ансельма Хафельбергского легатом в этой миссии.
Ансельм Хафельбергский (1099 - 1158) является ключевой и одновременно малоизвестной фигурой в европейской истории. Он не только первым христианизировал древние территории Руси Яра в южной Балтике под названием С(к)лавия, но и участвовал в дипломатической миссия в Византию в 1136 г. В своём трактате «Anticimenon» он описывает споры с православными богословами во главе с архиепископом Никитой Никомидийским, касавшиеся основных разногласий между православными и католиками: филиокве, литургические различия и примат папы римского. Совсем скоро, в ходе Четвертого крестового похода, в 1204 г. вскоре после основания Римской империи на месте Царьградской Руси будет основана подконтрольная Риму Латинская империя. По словам Ансельма Хафельбергского, русские "только по привычке подражают как бессмысленно, так и примитивно вашим (византийским) обрядам, поскольку они ваши соседи".
Романизация Константинополя завершилась унией с Римом в 1439 году. Это произошло во время правления византийского императора Иоанна VIII Палеолога, который стремился получить военную помощь от католиков для борьбы против турецких нашествий. Одновременно на Руси во времена правления Ивана III (1462 - 1505) с распространением христианства византийского образца при участии Кирилла и Мефодия (XIV в), был взят курс на вестернизацию и сближение с Римом. Именно при Иване III были налажены контакты с Римской империей, являющейся конгломератом Папской курии, Империи франков Карла Великого, Священной Римской империи германской нации, Дании, Венеции и других государств Северной Италии. Распространение христианства на Руси при участии подвластного Ватикану Киева привело к утрате влияния религиозных лиц на управление государством. Закат храмового строя произошёл еще при Владимире Великом, что привело к ослаблению Руси и расцвету Рима и его культа императоров.
Итак, основные демократические институты в Римской империи, одновременно Европе периода Возрождения, была созданы на базе экспансии Римом остатков территорий Руси Яра, названой позже Европой. Накопление богатства в метрополиях Европы и смещение власти от ведических священнослужителей (мимов) к аристократам и римским императорам потребовало создание сложной системой противовесов и сдержек, защищающих интересы различных гражданских категорий. Это обеспечивало высокую устойчивость политической системы. Необходимость защиты прав каждого гражданина. В новой системе ценностей Европы относилась только к гражданам метрополий, тогда как население большей части бывшей Руси Яра стало именоваться варварами. Так Русь Славян на месте современной России, названная римлянами Сарматией по "се Руси Мары рати", стала в представлении Рима страной рабов. Эти воззрения западного мира не только сохранились до сих пор, но и плебейски поддерживаются наивными последователями норманской теории.
В представлении историков все народы изначально имели племенной строй, затем возникли города-государства, начиная с древних греков, которые объединились и образовали более крупные государства, как Рим.
В действительности, изначально во всем мире был храмовый строй, который отличен от государственного. В храмовом строе важным является храм и решение жрецов, в отличие от дворца и решения правителя в государственном строе. Психология жителей также различна: в храмовом строе действуют божественные предначертания, в государственном – человеческие законы.
В эпоху модерна государственный строй уступает место капиталистическому, при котором действуют законы экономики, где человеческий труд рассматривается как товар. При храмовом строе социальные функции были сосредоточены в храмах, что было характерно для «Древней Руси», а при капиталистическом - в министерствах.
В предстоящем рабовладельческом строе цифровой эпохи социальные функции будут контролироваться надгосударственными нейросетевыми узлами, а человек будет исполнять роль поддержания своеобразного комплекса нейросетевой инфраструктуры. Таким образом, социум будет консолидирован в "кристалл" технологического мира, основанного на двоичном коде, а человек будет перерождаться в расу механических людей, начиненных искусственным интеллектом с двухполярный сущностью. Заявленный "многополярный мир" (термин введен впервые В.В. Ленским) переродится в двуполярный мир господства строгих двоичных цифровых иерархических надгосударственный структур, которые будут рассматривать социум как big data. После тотального анализа человеческой природы для искусственного интеллекта выяснится, что она основана на двуполярных эмоциях гнева и радости, печали и счастья, а значит не отличима от природы нейросетей. Так самая примитивная структура коры головного мозга, ответственная за развитие ума, воплотит себя во внешнем мире в виде цифрового тоталитарного социума. Многополярные пирамидальные структуры коры головного мозга и других его отделов, ответственные за развитие разума, интуиции, эмоций, на которых основана жизнь, только ожидают своего воплощения во внешнем мире в виде разумных технологий. Это возможно лишь при развитии новых социальных институтов, ответственных за развитие и поддержание тех или иных качеств человеческой психики , что по сути будет являться возрождением храмового строя.
Таким образом, существующие и предстоящие формы управления социумом, подавляющие развитие разума, являются признаком регресса государственного устройства вследствие утраты системы сложных социокультурных институтов, которые назывались храмами.
Кто-нибудь задумывался откуда у мошенников есть телефонные базы пенсионеров и прочих граждан? К примеру мне ни разу не звонили мошенники, видимо не вхожу в их список "ключевых клиентов". А к кому-то мошенники названиют чаще чем родственники.
Так вот. Спешу поделиться что я раскопал.
В России есть ряд компаний, которые занимаются передачей номеров телефонов, любому кто заплатит денег.
Я нашел несколько компаний, которые занимаются подобной деятельностью.
По сути, обратившись в одну из представленных компаний, и заплатив, вы можете получить номера телефонов, посетителей любого сайта. У них, конечно, есть нюансы, что посетитель должен использовать мобильный интернет. Через Wi-Fi операторы не видят. Либо пока не договорились с операторами домашнего интернета. Но не все пользуются Wi-Fi, к сожалению "клиенты" у мошенников будут.
Многие скажут, ну и что? Знание какой я сайт посещал ещё не значит ничего. Но эти же компании предоставляют ряд "инструментов" для получения качественных лидов. Один из этих инструментов, это получить распечатку звонков с номера телефона.
Ну теперь тезисно:
Компания по лидогенерации, передает список посетителей, к примеру, сайта тонометров.
2. Мошенники их обзванивают, находят уязвимых жертв.
3. Далее точечно выясняют кому звонит жертва и как часто. Через какой нибудь бот в телеграмме узнают имена и фамилии по номеру телефона
4. Дальше уже звонят жертве и исходя из полученной информации проводят тот или иной спектакль. И забирают деньги, заставляют сделать что-нибудь незаконное.
На мой взгляд, есть вариант обезопасить своих родных, это подключение WI-FI. И рассказать родным как работает мошеннические схемы. Придумать пароль и об говорить его использование в случае ЧП ситуаций при звонке.
Может есть еще способы не отсвечивать на сайтах. Буду благодарен если кто знаком с этой темой и поделиться.
P.S. Я узнал что КабМин уже принял закон, о запрете звонков с ip телефонии. Только врядли это поможет, ведь мошенники звонят и с обычных номеров.
Есть Big Data. Это большой объём несистематизированной информации.
Казалось бы, хрен с ним, какой-то суп из, казалось бы, несвязанной инфы.
Но вот есть ник, этот ник привязан к почте, почта где-то привязана к телефону в службе доставки или подобном. В одноклассниках есть фотка. Где-то другие перс данные промелькнули.
Базы регулярно выкладывают.
Затем в big data находятся связи, и от ника на пикабу мы приходим к ФИО, прописке, номеру телефона, фото, данным по членам семьи, машине, иной собственности, ИНН, ОМС, СНИЛС, наградным номерам.
Не нужно думать, что этого не делается. Выделяются большие деньги, работают профессионалы. Это называется гибридная война.
Совершенно точно у врага будет поимённо список всех награждённых, которые сами ему на блюдечке выкладывают инфу.
Не удивлюсь в скором времени новому массовому телефонному разводу на основе этой волны.
Но самое интересное в этой истории совсем не сроки и не жесткий режим в тюрьмах.
А то как удалось оперативно похватать и изолировать этих ребяток.
По некоторым слухам этот молодой прогрессивный президент связан сообществом хайтека из кремниевой долины. в частности называют Питера Тилля и продвигаемую им систему "Палантир": анализ бигдаты-- мобильные звонки, перехваты разговоров в автоматическом режиме, анализ видео в реальном времени, отслеживание перемещений по привязке к мобильному телефону, переписка, платежи, етс, етс. В итоге полиция получает ордер на арест, генерируемый системой(sic!), приезжает пативэн по указанному адресу и винтит конкретных людей. Главари "маро сальватручче", которая держит в страхе всю южную америку и не только в растеренности -- их винтят быстрее чем они успевают сообразить кого нужно убить что бы прекратились аресты, причем убить-то уже никого не полуится, кроме как исполнителей, но это проблему не решит.
То есть велкам ту фьюче -- железные мозги отправляют правосудие в самой эффективной манере: быстро, без проволочек, неподвержены коррупции, угрозам, физическому устранению и предельно сконцентрированны на доказательной базе.
Тюрьмы полны уголовниками и убийцами, сильнейший преступный синдикат зачищается в самой опасной стране мира.
Парализованный пациент смог управлять гарнитурой с помощью силы мысли, без использования рук или голоса.
Благодаря нейрочипу Synchron он теперь может смотреть сериалы, играть в пасьянс, отправлять сообщения и выполнять другие действия, которые ему не под силу делать из-за паралича в реальной жизни.
Следующая цель — сделать Synchron доступным для всех. Похоже, что киберпанк уже здесь!
Если сравнить задачи, выполненные человеком и крупной языковой моделью (LLM), средняя стоимость использования ИИ составляет примерно 1/30 от стоимости работы обладателя степени бакалавра в США (около $37.325 в час). Например, исправление ошибки в библиотеке с обработкой 382,000 токенов с помощью Sonnet 3.5 обошлось менее чем в $2.
На графике горизонтальная ось представляет бюджет (стоимость генераций для LLM или трудозатраты человека по указанной выше ставке), а вертикальная — долю выполненных задач. Чем больше времени (и, соответственно, денег) тратится, тем больше задач решают как человек, так и LLM.
Вывод таков: можно и нужно использовать техники, которые затратят в 30 раз больше мощностей, чтобы выровнять стоимость, и оценивать текущие и будущие модели на этих условиях. Не удивимся, если Gemini 2 или, скажем, GPT-5 смогут решать до 60% задач (человек справился с 80%).
В своем твиттере он выложил фото с пятью клубничками, намекая на проект OpenAI под кодовым названием Strawberry. Поскольку на созревание земляники уходит примерно четыре недели, всё сходится — GPT-5 будет доступен через месяц 😉
