<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0" xmlns:yandex="http://news.yandex.ru" xmlns:media="http://search.yahoo.com/mrss/" xmlns:turbo="http://turbo.yandex.ru">
<channel>
<title>Data Science и аналитика - Онлайн курсы от 49 рублей</title>
<link>https://many-courses.net/</link>
<description>Data Science и аналитика - Онлайн курсы от 49 рублей</description><item turbo="true">
<turbo:extendedHtml>true</turbo:extendedHtml>
<link>https://many-courses.net/business/18981-yakov-osipenkov-api-yandeks-direkta-oblachnye-resheniya-i-vizualizaciya-dannyh.html</link>
<author>Admin</author>
<category>Бизнес, менеджмент, продажи, Реклама и маркетинг, Программирование, Data Science и аналитика, Python с нуля</category>
<pubDate>Thu, 08 Oct 2026 11:58:30 +0300</pubDate>
<turbo:content><![CDATA[
<header>
<h1>Яков Осипенков - API Яндекс.Директа, облачные решения и визуализация данных</h1>
</header>
API Яндекс.Директа, облачные решения и визуализация данных (2026)<br> <br> Слив курса API Яндекс.Директа, облачные решения и визуализация данных (Яков Осипенков)<br> Научитесь выгружать данные из Яндекс.Директа с помощью Python, чтобы не зависеть от других сервисов, переносить их в облачные хранилища Google BigQuery и Yandex <br> Cloud без помощи разработчиков и строить любые автоматические отчеты в инструментах визуализации данных Looker Studio (Data Studio) и Yandex DataLens<br> <br> <b>Рассмотрены такие темы, как:</b><br> <ul> <li>Что такое ETL?</li> <li>Принцип работы</li> <li>Зачем это нужно маркетологу?</li> <li>Куда загружать данные? (про облачные хранилища Google BigQuery и ClickHouse)</li> <li>Как визуализировать данные? (про инструменты визуализации Google Data Studio и Yandex DataLens)</li> </ul><b>Чему вы научитесь:</b><br> Подойдет даже для тех, кто никогда не программировал и не писал код самостоятельно<br> <br> <b>Выгружать данные</b><br> Научитесь выгружать самые актуальные данные напрямую из Яндекс.Директа с помощью собственного кода на Python<br> <br> <b>Преобразовывать данные</b><br> Сделаете преобразования с выгруженными данными, чтобы их проще было загружать в облако и потом визуализировать<br> <br> <b>Загружать данные в облако</b><br> Сможете использовать Google Cloud Plaftorm в связке с Google BigQuery, или Yandex Cloud в паре с ClickHouse (+ Google Таблицы)<br> <br> <b>Визуализировать статистику</b><br> Построите красивые и автоматические отчеты в Looker Studio или Yandex DataLens с привязкой к вашим ключевым показателям<br> <br> <b>Автоматизировать процессы</b><br> Напишите код, который автоматически будет обновлять данные, корректировать статистику и загружать ее по расписанию<br> <br> <b>Быть независимым</b><br> Не будете зависеть от сторонних решений, сервисов, разработчиков и сможете контролировать все действия сами<br><br>
]]></turbo:content>
</item><item turbo="true">
<turbo:extendedHtml>true</turbo:extendedHtml>
<link>https://many-courses.net/business/18376-yakov-osipenkov-kurs-po-skvoznoy-analitike.html</link>
<author>Admin</author>
<category>Бизнес, менеджмент, продажи, Реклама и маркетинг, Программирование, Data Science и аналитика</category>
<pubDate>Wed, 16 Sep 2026 17:10:35 +0300</pubDate>
<turbo:content><![CDATA[
<header>
<h1>Яков Осипенков - Курс по сквозной аналитике</h1>
</header>
Вы освоите практические приемы настройки CRM-системы и инструментов веб-аналитики для отслеживания пути клиента от клика по рекламе до его повторных продаж, а также создадите отчет, который позволит принимать верные решения и увеличить прибыль компании.<br> <b><br> Чему вы научитесь:</b><br> Системный и последовательный подход в обучении<br> <ol> <li>Взаимодействовать с командой. Узнаете про зоны ответственности каждого члена команды, научитесь понимать, формулировать задачи и подготавливать ТЗ</li> <li>Рассчитывать юнит-экономику. Научитесь определять прибыльность вашего бизнеса на этапе идеи и производить моделирование ключевых показателей</li> <li>Собирать статистику по каналам. Настроите все необходимые отслеживания для сайта и передадите статистику по всем рекламным ам в счетчики аналитики</li> <li>Отслеживать путь клиента. Будете знать все от перехода по рекламному объявлению, посещении сайта, офлайн-магазина, до покупки и повторных продаж</li> <li>Оценивать результаты рекламы. Научитесь анализировать рекламные каналы, повысите конверсию и снизите стоимость целевого обращения</li> <li>Объединять различные данные. Сможете связать информацию из CRM-системы со статистикой счетчиков веб-аналитики с привязкой к статусам сделок и выручке</li> <li>Создавать подробные отчеты. Научитесь строить автоматические отчеты в инструментах визуализации данных Microsoft Power BI и Google Data Studio</li> <li>Анализировать данные. Разберетесь со своей базой клиентов и поймете, сколько стоит вам привлечение каждого человека и по какому у</li> <li>Настраивать сквозную аналитику. Получите необходимые знания для дальнейшего карьерного роста по специальности «Веб-аналитик»</li> </ol><b>Программа обучения</b><br> * Текущий план занятий может быть чуть скорректирован до начала обучения<br> <br> <b>Блок 1. Введение<br> Занятие №1. Веб-аналитика vs Сквозная аналитика</b><br> <ul> <li>История возникновения счетчиков веб-аналитики</li> <li>Роль веб-аналитики в онлайн-бизнесе</li> <li>Две модели аналитики</li> <li>Что такое сквозная аналитика?</li> <li>«Классическая» и сквозная аналитика. В чем разница?</li> </ul><b>Занятие №2. Введение в сквозную аналитику</b><br> <ul> <li>Профессия «Веб-аналитик». Кто он?</li> <li>Схема работы сквозной аналитики</li> <li>Для каких бизнесов (проектов) подходит?</li> <li>Кто внедряет сквозную аналитику?</li> <li>Инструменты сквозной аналитики</li> <li>Основные проблемы, связанные с внедрением</li> <li>Почему так мало материалов по сквозной аналитике в сети?</li> </ul><b>Занятие №3. Подготовительные работы</b><br> <ul> <li>Персонализация</li> <li>Защита персональных данных</li> <li>Основные термины веб-аналитики и сквозной аналитики</li> <li>Этапы внедрения сквозной аналитики</li> <li>Создание собственной модели данных</li> </ul><b>Занятие №4. Юнит-экономика</b><br> <ul> <li>Что такое юнит-экономика?</li> <li>Метрики, которые необходимы в расчете (CPL, CPO, CAC, LTV, ДРР, ROMI)</li> <li>Постоянные издержки</li> <li>Переменные издержки</li> <li>Примеры расчетов</li> </ul><b>После завершения блока - курсовая работа</b><br> <br> <b>Блок 2. Веб-аналитика<br> Занятие №5. Счетчики веб-аналитики</b><br> <ul> <li>Типы счетчиков</li> <li>Принципы работы счетчиков веб-аналитики</li> <li>Как Google Analytics и Яндекс.Метрика считают пользователей? (файлы cookie, Client ID)</li> <li>Кросс-платформенное отслеживание (User ID)</li> <li>Структура аккаунта Google Tag Manager, Яндекс.Метрики и Universal Analytics/GA4</li> </ul><b>Занятие №6. Первичная настройка</b><br> <ul> <li>Установка Google Tag Manager, Яндекс.Метрики и Universal Analytics/GA4</li> <li>Что отслеживать на сайте?</li> <li>Примеры отслеживания</li> <li>Разметка трафика с помощью UTM-меток</li> <li>Чек-лист по настройке Яндекс.Метрики</li> <li>Чек-лист по настройке Universal Analytics</li> </ul><b>Занятие №7. Настройка целей и событий</b><br> <ul> <li>Настройка целей</li> <li>Отслеживание событий (клики по кнопке, отправка формы, просмотр видео, скроллинг и т.д.)</li> <li>Настройка чатов, онлайн-консультантов</li> <li>Настройка уникального идентификатора пользователя (Client ID)</li> </ul><b>Занятие №8. Настройка коллтрекинга и e-mail трекинг</b><br> <ul> <li>Выбор сервиса (статический или динамический?)</li> <li>Настройка коллтрекинга</li> <li>Отслеживание e-mail писем</li> <li>Передача данных в инструменты веб-аналитики</li> </ul><b>Занятие №9. Настройка e-commerce проектов</b><br> <ul> <li>Настройка расширенной электронной торговли (Enhanced Ecommerce)</li> <li>Настройка электронной торговли в Google Analytics 4</li> <li>Настройка динамического ремаркетинга</li> <li>Кросс-платформенное отслеживание (User ID)</li> </ul><b>После завершения блока - курсовая работа</b><br> <br> <b>Блок 3. Внедрение CRM-системы<br> Занятие №10. Внедрение CRM-системы I</b><br> <ul> <li>Для чего нужна CRM?</li> <li>Виды CRM</li> <li>Какую CRM-систему выбрать?</li> </ul><b>Занятие №11. Внедрение CRM-системы II</b><br> <ul> <li>Офлайн конверсии / Measurement Protocol</li> <li>Про API и Webhooks</li> <li>Настройка полей, карточек в CRM системе (Client ID, UTM)</li> <li>Примеры настройки</li> </ul><b>Занятие №12. Простая "CRM-система" в Google Таблицах</b><br> Передача обращений в Google ТаблицыПривязка заявок к статусам сделокAPI Google Analytics / Query ExplorerПример отчета по рекламе и модели данных в Power BI[/list]<br> <b>После завершения блока - курсовая работа</b><br> <br> <b>Блок 4. Интеграции<br> Занятие №13. Общие сведения об интеграциях</b><br> <ul> <li>Выбор центрального хранилища данных</li> <li>Способы объединения данных из разных систем</li> <li>Онлайн коннекторы</li> <li>Примеры настройки</li> </ul><b>Занятие №14. Интеграция с Яндекс.Метрикой и Universal Analytics</b><br> <ul> <li>Импорт расходов в Google Analytics из других рекламных систем</li> <li>Учет офлайн-конверсий в Яндекс.Метрике</li> <li>Сквозная аналитика в Яндекс.Метрике</li> <li>Сквозная аналитика в Universal Analytics</li> <li>Примеры настройки</li> </ul><b>Занятие №15. Интеграция с Google BigQuery</b><br> <ul> <li>О Google BigQuery</li> <li>Передача данных в Google BigQuery</li> <li>Связывание данных Google Analytics 4 с Google BigQuery</li> <li>Примеры</li> </ul><b>Занятие №16. Интеграция с готовыми решениями</b><br> <ul> <li>Сервисы сквозной аналитики</li> <li>Примеры реализации</li> </ul><b>После завершения блока - курсовая работа</b><br> <br> <b>Блок 5. Визуализация данных<br> Занятие №17. Визуализация данных в Google Data Studio</b><br> <ul> <li>Зачем нужен Google Data Studio?</li> <li>Разбор интерфейса</li> <li>Совмещение данных (разные и и коннекторы)</li> <li>Построение отчетности</li> </ul><b>Занятие №18. Визуализация данных в Microsoft Power BI</b><br> <ul> <li>BI-системы</li> <li>О Microsoft Power BI</li> <li>Разбор интерфейса</li> <li>Коннекторы для Power BI</li> <li>Совмещение данных (разные и и коннекторы)</li> <li>Построение отчетности</li> </ul><b>После завершения блока - курсовая работа</b><br> <br> <b>Блок 6. Работа с данными<br> Занятие №19. Работа с данными</b><br> <ul> <li>Модели атрибуции</li> <li>Ассоциированные конверсии</li> <li>Атрибуция на основе воронки</li> <li>Customer Journey Map</li> </ul><b>Занятие №20. Сегментация трафика</b><br> <ul> <li>Области действия</li> <li>Сегменты и аудитории в Universal Analytics</li> <li>Сегменты и аудитории в Яндекс.Метрике</li> <li>Сегменты и аудитории в Google Analytics 4</li> <li>Сегментация в CRM</li> </ul><b>Занятие 21. Различные виды анализа</b><br> <ul> <li>RFM-анализ</li> <li>Когортный анализ</li> <li>Анализ повторных продаж</li> <li>Итоги обучения</li> </ul><b>После завершения блока - курсовая работа</b><br> <b>Об авторе: Яков Осипенков</b> - автор и ведущий курса по сквозной аналитике<br> <br>
]]></turbo:content>
</item><item turbo="true">
<turbo:extendedHtml>true</turbo:extendedHtml>
<link>https://many-courses.net/programmirovanie/17534-python-otus-razrabotchik-prodvinutyy-uroven.html</link>
<author>Admin</author>
<category>Программирование, Backend, Data Science и аналитика, Python с нуля</category>
<pubDate>Mon, 31 Aug 2026 21:24:38 +0300</pubDate>
<turbo:content><![CDATA[
<header>
<h1>Python / OTUS - разработчик. Продвинутый уровень</h1>
</header>
<b>Продвинутый курс по Python для опытных разработчиков</b> поможет перейти от уверенного написания кода к профессиональной разработке сложных, масштабируемых и производительных систем. В программе — <i>глубокое устройство Python, архитектура ПО, веб-разработка, базы данных, Data Science, Machine Learning, highload, асинхронность и современные инженерные практики</i>.<br> <br> <b>О курсе</b><br> Курс «Python-разработчик. Продвинутый уровень» предназначен для специалистов, которые уже знакомы с Python и хотят системно углубить знания: понять внутренние механизмы языка, научиться проектировать поддерживаемую архитектуру, работать с высоконагруженными приложениями, современными веб-фреймворками, ML-инструментами и инфраструктурой данных.<br> <br> Обучение охватывает не только синтаксис и библиотеки, но и практики промышленной разработки: тестирование, проектирование кода, оптимизацию производительности, безопасность, работу с API, микросервисами, асинхронным программированием и инструментами для Data Science и Machine Learning.<br> <br> <b>Кому подойдёт курс</b><br> <ul> <li>Python-разработчикам, которые хотят выйти на middle+/senior-уровень и глубже понимать язык.</li> <li>Выпускникам базовых курсов Python, готовым перейти к архитектуре, highload и промышленной разработке.</li> <li>Backend- и web-разработчикам, которые используют Django, FastAPI, REST API, SQLAlchemy и базы данных.</li> <li>Data Science и ML-инженерам, которым важно лучше понимать Python-экосистему, производительность и model serving.</li> <li>Разработчикам на других языках, которые хотят освоить Python на продвинутом уровне и применять его в реальных проектах.</li> </ul><b>Что вы изучите</b><br> <b>Продвинутый Python и внутреннее устройство языка</b><br> Вы разберёте ключевые механизмы Python, которые важны для написания эффективного и предсказуемого кода: объектную модель, дескрипторы, метапрограммирование, аннотации типов, байткод, виртуальную машину Python, управление памятью и GIL.<br> <ul> <li>объектно-ориентированное программирование на продвинутом уровне;</li> <li>метаклассы, дескрипторы и динамическое поведение объектов;</li> <li>type hints и статическая типизация в Python-проектах;</li> <li>байткод, интерпретатор и особенности выполнения кода;</li> <li>управление памятью, сборка мусора и ограничения GIL.</li> </ul><b>Тестирование, качество кода и архитектура</b><br> Отдельный блок посвящён практикам, которые помогают создавать поддерживаемые и надёжные приложения. Вы изучите тестирование с pytest, принципы SOLID, паттерны проектирования, Domain-Driven Design, Clean Architecture, Event-Driven Architecture и микросервисный подход.<br> <ul> <li>модульное, интеграционное и функциональное тестирование;</li> <li>pytest, фикстуры, моки и организация тестовой инфраструктуры;</li> <li>SOLID, паттерны проектирования и рефакторинг;</li> <li>DDD и проектирование бизнес-логики;</li> <li>Clean Architecture и разделение ответственности;</li> <li>Event-Driven Architecture и микросервисы.</li> </ul><b>Web-разработка на Python</b><br> В разделе по веб-разработке рассматриваются современные backend-инструменты Python: Django, FastAPI, ORM, SQLAlchemy, REST API, GraphQL, RPC, аутентификация, авторизация и безопасность веб-приложений.<br> <ul> <li>Django и работа с ORM;</li> <li>проектирование REST API и API-first подход;</li> <li>FastAPI для высокопроизводительных веб-сервисов;</li> <li>SQLAlchemy и взаимодействие с базами данных;</li> <li>транзакции, индексы, репликация и шардирование;</li> <li>GraphQL, RPC и интеграция сервисов;</li> <li>аутентификация, авторизация и защита веб-приложений.</li> </ul><b>Data Science, Machine Learning и Big Data</b><br> Курс включает инструменты для анализа данных, визуализации, машинного обучения и работы с современными ML-пайплайнами. Вы познакомитесь с NumPy, Pandas, Matplotlib, Seaborn, Jupyter, PyTorch, TensorFlow, Hugging Face, LLM и Big Data-экосистемой.<br> <ul> <li>обработка и анализ данных с NumPy и Pandas;</li> <li>визуализация данных с Matplotlib и Seaborn;</li> <li>работа в Jupyter Notebook;</li> <li>основы ML Engineering и обучение моделей;</li> <li>PyTorch, TensorFlow и Hugging Face;</li> <li>LLM, inference и model serving;</li> <li>хранение, обработка и подготовка больших данных.</li> </ul><b>Highload, асинхронность и производительность Python</b><br> Вы научитесь анализировать узкие места в приложениях, профилировать код и выбирать подходящие инструменты для ускорения Python-программ. В программе рассматриваются многопоточность, многопроцессность, IPC, asyncio, event loop, async/await, Cython, PyPy, FFI и интеграция с C.<br> <ul> <li>профилирование и оптимизация Python-кода;</li> <li>многопоточность, процессы и межпроцессное взаимодействие;</li> <li>асинхронное программирование и asyncio;</li> <li>event loop и устройство async/await;</li> <li>ускорение критических участков с помощью C, Cython, PyPy и FFI;</li> <li>подходы к разработке highload-приложений на Python.</li> </ul><b>Go для Python-разработчиков</b><br> Дополнительный модуль знакомит с языком Go с позиции Python-разработчика. Вы изучите базовые возможности Go, конкурентную обработку, горутины и принципы работы планировщика.<br> <ul> <li>сравнение Python и Go в backend-разработке;</li> <li>основы синтаксиса и стандартной библиотеки Go;</li> <li>горутины, каналы и конкурентное выполнение;</li> <li>планировщик Go и особенности производительности.</li> </ul><b>Какие навыки вы получите</b><br> <ul> <li>Понимание внутреннего устройства Python и особенностей выполнения кода.</li> <li>Навыки проектирования архитектуры сложных backend-систем.</li> <li>Умение писать тестируемый, поддерживаемый и расширяемый код.</li> <li>Опыт работы с Django, FastAPI, REST API, SQLAlchemy и базами данных.</li> <li>Понимание асинхронного программирования, многопоточности и highload-подходов.</li> <li>Навыки оптимизации производительности Python-приложений.</li> <li>Знакомство с инструментами Data Science, ML Engineering, LLM и Big Data.</li> <li>Понимание микросервисной архитектуры, DDD, Clean Architecture и Event-Driven Architecture.</li> </ul><b>Почему стоит изучать продвинутый Python</b><br> Python используется в backend-разработке, автоматизации, анализе данных, машинном обучении, highload-сервисах и инженерных инструментах. Продвинутый уровень владения языком позволяет не просто писать рабочий код, а создавать надёжные системы, которые проще масштабировать, тестировать, сопровождать и развивать.<br> <br> Знание архитектурных подходов, асинхронности, оптимизации, баз данных и ML-инструментов делает Python-разработчика более универсальным специалистом и помогает уверенно работать над сложными коммерческими проектами.<br> <br> <b>ИСТОЧНИК<br> </aside> <br> СКАЧАТЬ<br> </aside> </b>
]]></turbo:content>
</item><item turbo="true">
<turbo:extendedHtml>true</turbo:extendedHtml>
<link>https://many-courses.net/business/17176-otus-bolshie-yazykovye-modeli-ekspertnyy-uroven-llm.html</link>
<author>Admin</author>
<category>Бизнес, менеджмент, продажи, Программирование, Нейросети, ChatGPT и Midjourney, Data Science и аналитика, OTUS</category>
<pubDate>Mon, 24 Aug 2026 16:19:42 +0300</pubDate>
<turbo:content><![CDATA[
<header>
<h1>OTUS - Большие языковые модели. Экспертный уровень / LLM</h1>
</header>
<b>Изучаем самые актуальные продвинутые методы работы с LLM и трансформерными моделями</b><br> <br> Изучаем самые актуальные технологии и архитектуры, связанные с LLM и трансформерными моделями, которые стали стандартом в области работы с текстом. Генеративные LLM, такие как ChatGPT и GPT4 позволяют решать огромное множество задач на высоком уровне. На рынке IT есть потребность в специалистах, которые владеют технологиями работы с этими моделями на уровне архитектуры и умеют адаптировать их для своих бизнес-задач.<br> <br> LLM — один из самых востребованных вариантов применения генеративного ИИ, поэтому на курсе мы делаем фокус на самые актуальные технологии работы с большими языковыми моделями. Студенты на практике научатся работать с самыми передовыми моделями и фреймворками, которые сегодня являются state-of-the-art в области NLP.<br> <br> <b>Для кого этот курс</b><br> <ul> <li>Этот курс для тех, кто хочет за минимальный срок на высоком уровне освоить самые продвинутые методы LLM и сразу начать применять их на практике.</li> <li>Практикующие DS специалисты, которые хотят получить углубленные знания по трансформерным моделям и научиться работать с LLM на высоком уровне;</li> <li>Выпускники курсов Machine Learning. Professional, Machine Learning. Advanced, NLP / Natural Language Processing, которые хотят освоить самые передовые методы работы с LLM;</li> <li>ИТ-специалисты, которым на работе приходиться работать с текстовыми данными и внедрять методы работы с трансформерными моделями и LLM.</li> </ul><b>Необходимые знания</b><br> <ul> <li>Базовая высшая математика: умение работать с матрицами и векторами, базовое знание математической статистики, теории вероятности и мат. анализа;</li> <li>Методы классического ML, умение работать с классическими ML моделями;</li> <li>Основы Deep Learning, базовое представление о pytorch;</li> <li>Программирование на Python для машинного обучения.</li> </ul><b>Что даст вам этот курс</b><br> Вы научитесь<br> <ul> <li>Работать с LLM (большими языковыми моделями) на высоком уровне;</li> <li>Самым передовым методам работы с LLM и трансформерными моделями;</li> <li>Применять самые продвинутые архитектуры и адаптировать их под широкий круг бизнес-задач;</li> <li>Дообучать языковые модели под свои задачи;</li> <li>Поднимать модели в телеграм-боте.</li> </ul><b>Программа</b><br> <br> <b>Базовые понятия трансформерных моделей</b><br> В данном модуле вы познакомитесь с фундаментальным понятием NLP и трансформерных моделей. Рассмотрите архитектуру трансформера, механизм внимания и применение трансформеров в задачах машинного перевода и языкового моделирования.<br> Тема 1: Задача языкового моделирования и понятие языковой модели<br> Тема 2: Архитектура трансформер и задача машинного перевода // ДЗ<br> Тема 3: BERT и другие трансформерные энкодеры // ДЗ<br> Тема 4: GPT и другие декодерные модели для генерации текста<br> Тема 5: Seq2seq модели. Дообучение трансформеров на практическом примере // ДЗ<br> Тема 6: Методы за ChatGPT + Q&amp;A сессия<br> <br> <b>Новая эра LLM: базовые методы</b><br> В этом модуле вы изучите современные подходы к большим языковым моделям (LLM) и их оптимизации. Вы освоите мультиязычные трансформеры, работу с длинным контекстом и практические техники промптинга.<br> Тема 1: Современные LLM и оптимизация архитектуры<br> Тема 2: Практическое занятие: теория промптинга LLM // ДЗ<br> Тема 3: Методы за моделью DeepSeek - на пути к современному ризонингу<br> Тема 4: LoRA и доменная адаптация (Domain adaptation) // ДЗ<br> Тема 5: Мультиязычные трансформеры<br> Тема 6: Работа с длинным контекстом<br> Тема 7: Q&amp;A сессия и дискуссионный клуб<br> <br> <b>Продвинутые методы работы с LLM</b><br> В этом модуле вы изучите углубленные подходы к работе с трансформерами.<br> Тема 1: Sentence-transformers // ДЗ<br> Тема 2: Эффективные трансформеры<br> Тема 3: Практическое занятие: фреймворки для эффективной работы с LLM // ДЗ<br> Тема 4: LangChain<br> Тема 5: RAG - генерация на основе базы знаний<br> <br> <b>Доп. главы работы с LLM</b><br> В данном модуле вы узнаете о дополнительных аспектах работы с LLM, которые выходят за рамки стандартной программы.<br> Тема 1: Оценка LLM<br> Тема 2: Распределенное обучение<br> Тема 3: Практическое занятие: интеграция LLM в тг-бота // ДЗ<br> Тема 4: Q&amp;A сессия и дискуссионный клуб<br> <br> <b>Трансформеры для других модальностей</b><br> В данном модуле вы ознакомитесь с применением трансформеров в мультимодальных задачах.<br> Тема 1: Мультимодальные и Vision трансформеры<br> Тема 2: Практическое занятие по работе с мультимодальными моделями<br> Тема 3: Введение в AI агентов // ДЗ<br> Тема 4: Трансформеры для временных рядов<br> Тема 5: Трансформеры для табличных данных<br> Тема 6: Q&amp;A сессия и дискуссионный клуб<br> <br> <b>Проектная работа</b><br> Проектный модуль, во время которого студенты выполняют финальную работу на основе методов, изученных на курсе.<br> <br> <b>Преподаватели</b><br> <ul> <li>Андрей Носов. AI Architect, Raft. PhD Communication Science, Tampere University (Finland)</li> <li>Никита Овчинников. Lead of Research And Development Peech</li> <li>Алексей Клочков. Data Science Team Lead Kept</li> <li>Анна Козлова</li> <li>Раиль Сулейманов. Machine Learning Engineer Garage IT</li> <li>Мария Тихонова. Лидер Research кластера Сбер, ВШЭ</li> <li>Дмитрий Гайнуллин. Machine Learning Engineer AIC</li> </ul><b>ИСТОЧНИК<br> </aside> <br> СКАЧАТЬ<br> </aside> </b>
]]></turbo:content>
</item><item turbo="true">
<turbo:extendedHtml>true</turbo:extendedHtml>
<link>https://many-courses.net/programmirovanie/17175-devhands-aleksey-belozerskiy-clickhouse-dlya-analitikov-i-inzhenerov-dannyh.html</link>
<author>Admin</author>
<category>Программирование, Data Science и аналитика, Базы данных и SQL, DevHands</category>
<pubDate>Mon, 24 Aug 2026 16:19:37 +0300</pubDate>
<turbo:content><![CDATA[
<header>
<h1>Devhands - Алексей Белозерский → Clickhouse для аналитиков и инженеров данных</h1>
</header>
<b>Научитесь эффективно использовать Clickhouse: возможности, архитектурные компромиссы и ограничения.</b><br> <ul> <li>Изучить Clickhouse - популярную колоночную СУБД для аналитики данных и разработки приложений и прнять, для каких задач эффективно применять Clickhouse.<br> </li> <li>Обрабатывать миллиарды строк за секунды. Выполнять за доли секунды аналитические запросы, которые в PostgreSQL или Spark занимали минуты.<br> </li> <li>Познакомиться с внутренней архитектурой одиночных и кластерных инсталляций.<br> </li> <li>Разобраться со многими особенностями ClickHouse и с типичными ошибками. Грамотно хранить терабайты аналитических данных с минимальными затратами.</li> </ul><b>Кому подойдет курс:</b><br> <ul> <li>Аналитикам данных</li> <li>Инженерам данных</li> <li>Архитекторам данных</li> <li>Разработчикам</li> </ul><b>Программа</b><br> <br> Встречи: 6 недель (1 встреча в неделю)<br> Живые лекции с экспертом, Алексеем Белозерским. Ведется запись, ссылка выкладывается в чат. Все встречи начинаются в 18-00 МСК, проходят в Zoom. Ссылка на Zoom-митинг «запинена» в чате.<br> <br> <b>Занятие 1. Архитектура Clickhouse</b><br> <ul> <li>Какие бывают СУБД. Реляционные и нереляционные, строковые и колоночные, транзакционные и нетразакционные, ACID &amp; BASE</li> <li>Особенности Clickhouse. Выбранные при разработке СУБД компромисы.</li> <li>CAP теорема и гарантии отказоустойчивости и целостности данных</li> <li>Области применения Clickhouse. Как надо и как не надо.</li> <li>Строковые и колоночные данные. Отличие Postgres vs Clickhouse</li> <li>Архитектура Clickhouse. Шарды и реплики. Zookeeper, Clickhouse keeper.</li> </ul>Практика<br> <ul> <li>Поднимаем Clickhouse на Ubuntu в простейших случаях, single инсталляция. Подключение к СУБД через clickhouse-client, DBeaver.</li> <li>Создаем таблицы - от простого к сложному. Типы данные в Clickhouse, кодеки, движки для single инсталляции</li> <li>Подключаемся через SQL Driver (JDBC), по HTTP, через Python. Как устроено подключение к Кликхаусу «под капотом».</li> <li>Как отконфигурировать систему, базовые текстовые конфиги. Популярные оптимизации. Лучшие практики для различных ситуаций.</li> </ul><b>Занятие 2. Данные внутри Clickhouse</b><br> <ul> <li>Движок MergeTree, LSN Tree.</li> <li>Data Parts. Слияния и мутации данных</li> <li>Реальный формат хранения данных на диске под капотом Clickhouse.</li> <li>Особенности хранения. Как они влияют на производительность SQL.</li> <li>Работа с дисковой подсистемой. Температурная карта хранения на различных типах дисков и работа с S3.</li> <li>Вставка данных большими батчами. Лучшие практики.</li> <li>Заводим таблицу в Clickhouse - режим эксперта. Какие есть опции и команды</li> </ul>Практика:<br> <ul> <li>Исследуем data parts на диске и в служебных таблицах Clickhouse. Изучаем оптимизации и слияния данных. Как понять по data parts, что данные успешно принято СУБД.</li> <li>Data Parts в файловой системе - как хранятся данные на диске. Какое влияние оказывается на ФС и систему в различных ситуациях и режимах эксплуатации.</li> <li>CREATE TABLE - режим эксперта. Продвинутые кодеки и оптимизация хранения. TTL, температурная карта и т.д.</li> </ul><b>Занятие 3. Использование Clickhouse в приложениях</b><br> <ul> <li>Как подключиться к Clickhouse: HTTP, JDBC. Балансировка подключений. Дополнительнеы инструменты для управления подключениями в современных архитектурах приложений.</li> <li>Шардирование данных. Локальность. Как приложение узнает, куда ему полючиться в сложной конфигурации кластеров Clickhouse.</li> <li>Примеры применения в архитектуре приложений. Кейс встроенной аналитики.</li> <li>Работа с большими потоками данных, масштабирование потока. Кейс данных SIEM.</li> <li>Кейс сборщика метрик, StatsHouse.</li> <li>Back to CAP Theorem. Консистентность данных в Clickhouse. BASE и его особенности. Что нужно понимать разработчку об особенностях СУБД и его поведении в различных ситуациях.</li> <li>Мониторинг здоровья Clikhouse. За чем нужно следить в кластере.</li> </ul>Практика: подключаемся к clickhouse из python как пример совместной работы в приложениях<br> <ul> <li>Балансировка подключений к Clickhouse. Какие настройки и требования к балансировщикам нужно соблюдать, чтобы не совершать ошибок новичка.</li> <li>Делаем дашборды здоровья Clickhouse для Single, Cluster архтектур. Алертим о неполадках в кластере.</li> <li>Элементы OLTP сценарием - когда все-таки можно?</li> </ul><b>Занятие 4. Обработка данных в Clickhouse</b><br> <ul> <li>Пайплайны в кластере Clickhouse. Еще раз о гаратиях BASE.</li> <li>Движки X-MergeTree - что нужно знать.</li> <li>Особенности представлений и их материализации в Clickhouse. MV into Table - когда используем.</li> <li>Работа с партициями</li> <li>Мутации данных. ALTER TABLE Clickhouse-way</li> <li>Следим за мутациями</li> <li>Clickhouse + Airflow. Clickhouse + DBT. Tips &amp; Tricks.</li> <li>Оптимизации - кодеки данных. TTL и тепловая карта, вычислимые поля.</li> <li>Встроенные коннекторы: JDBC, S3, Kafka, Iceberg</li> </ul>Практика:<br> <ul> <li>Используем Airflow + DBT для разработки пайплайнов на базе clickhouse.</li> <li>Когда ETL в Clickhouse - плохая идея. Архитектурыне пределы системы, примеры неудачных решений и варианты борьбы с ними («скорая помощь») и обходных путей.</li> <li>Кликхаус-специфичные практики для инженеров данных.</li> <li>Об оптимизации запросов - практические примеры для обработки больших данных.</li> <li>Тюнинг СУБД для работы с большими данными. Уровень кластера, сессии, запроса.</li> </ul><b>Занятие 5. Аналитика данных в Clickhouse</b><br> <ul> <li>Особенности Clickhouse SQL</li> <li>Функции и дополнительные аналитические non-ANSI-SQL операторы к Clickhouse. Что полезно знать.</li> <li>Траблшутинг и планирование запросов. Что делать если запрос медленные или упал.</li> <li>Кластерный и одиночный Clickhouse с точки зрения написания SQL</li> <li>Tips &amp; tricks. Что делать, если SQL запрос падает с ошибкой.</li> </ul>Практика<br> <ul> <li>Используем дополнительные функции clickhouse SQL для аналитики.</li> <li>Аналитические кейсы: считаем ретеншн, АБ-тесты</li> </ul><b>Занятие 6. Резерв для Q&amp;A (сессии вопросов-ответов). Advanced опции</b><br> <ul> <li>Clickhouse + Lakehouse, Iceberg REST.</li> <li>Фичи Сlickhouse 26.x и другие нововведения</li> </ul>Старт 11 июня<br> <br> <b>ИСТОЧНИК<br> </aside> <br> СКАЧАТЬ<br> </aside> </b>
]]></turbo:content>
</item><item turbo="true">
<turbo:extendedHtml>true</turbo:extendedHtml>
<link>https://many-courses.net/programmirovanie/17171-kombo-iz-14-postov-po-kauzalnomu-analizu-artem-gruzdev-14-jupyter-tetradok.html</link>
<author>Admin</author>
<category>Программирование, Data Science и аналитика, Python с нуля</category>
<pubDate>Mon, 24 Aug 2026 16:19:15 +0300</pubDate>
<turbo:content><![CDATA[
<header>
<h1>Комбо из 14 постов по каузальному анализу / Артем Груздев - 14 jupyter-тетрадок</h1>
</header>
Комбо из 14 постов по каузальному анализу - 14 jupyter-тетрадок (2026)<br> <br> Слив курса Комбо из 14 постов по каузальному анализу (14 jupyter-тетрадок) [Артем Груздев]</b><br> Это уже сборник практических тетрадок-гайдов по одной конкретной теме. Выборочно расскажу о некоторых темах.<br> <br> <b>Программа:</b><br> <ol> <li>Пикинг и ранняя остановка при последовательном тестировании</li> <li>Групповое последовательное тестирование</li> <li>CUPED - метод увеличения статистической мощности A/B-тестов</li> <li>Выбросы (outliers), разбалансировка (leverage) и влиятельные наблюдения (influential observations)</li> <li>Квантильная регрессия в каузальном анализе</li> <li>Полное руководство по сравнению распределений</li> <li>Байесовский бутстреп</li> <li>Онлайн-регрессия</li> <li>Метамодели</li> <li>Теорема Фриша-Во-Ловелла</li> <li>Двойное несмещ. ML (часть 2)</li> <li>Двойное несмещ. ML (часть 1)</li> <li>Анализ смещения из-за опущенной переменной</li> <li>Синт. контроль</li> </ol> </aside> <br> <b>Скачать:</b><br> </aside>
]]></turbo:content>
</item><item turbo="true">
<turbo:extendedHtml>true</turbo:extendedHtml>
<link>https://many-courses.net/business/17170-vizuara-ai-labs-dr-rajat-dandekar-master-llm-inference-phase-1-foundations-optimization.html</link>
<author>Admin</author>
<category>Бизнес, менеджмент, продажи, Программирование, Нейросети, Data Science и аналитика, Vizuara AI Labs</category>
<pubDate>Mon, 24 Aug 2026 16:19:11 +0300</pubDate>
<turbo:content><![CDATA[
<header>
<h1>Vizuara AI Labs - Dr. Rajat Dandekar → Master LLM Inference (Phase 1: Foundations &amp; Optimization)</h1>
</header>
<b>«Профессиональный инференс LLM»</b> — практический четырехнедельный интенсив для тех, кто хочет разобраться, как <i>запускать, оптимизировать и масштабировать большие языковые модели</i> в реальных production-системах. Курс охватывает полный путь: от фундаментальных принципов инференса и работы GPU-памяти до распределенного развертывания, edge-инференса, квантизации, профилирования и построения высокопроизводительных AI-сервисов, способных обслуживать большие объемы запросов с низкой задержкой.<br> <br> <b>О курсе</b><br> Курс посвящен профессиональному инференсу больших языковых моделей: тому, как LLM работают после обучения, как они обрабатывают запросы пользователей, почему возникают задержки, как повысить пропускную способность сервера и какие инженерные решения используются в современных AI-компаниях.<br> <br> Программа объединяет теорию, лабораторные работы, живые демонстрации и практику на реальном оборудовании. Занятия проводят доктор Радж Дандекар, MIT PhD, а также инженеры и специалисты из Anthropic, NVIDIA, Apple, Microsoft, Amazon, AnyScale и других технологических компаний.<br> <br> <b>Чему вы научитесь</b><br> <ul> <li>Понимать архитектуру современных систем инференса LLM и ключевые этапы обработки запроса.</li> <li>Оптимизировать производительность больших языковых моделей по задержке, пропускной способности и использованию GPU.</li> <li>Работать с памятью GPU, KV cache, механизмами внимания и ограничениями аппаратных платформ.</li> <li>Применять квантизацию моделей для ускорения инференса и снижения потребления ресурсов.</li> <li>Использовать популярные фреймворки и инструменты: vLLM, SGLang, FlashAttention, TensorRT-LLM, Ray Serve и Megatron-LM.</li> <li>Развертывать LLM на локальном компьютере, сервере, Raspberry Pi 4, Android-устройстве и NVIDIA Jetson Orin Nano.</li> <li>Проектировать production-ready AI-сервисы с масштабируемой архитектурой.</li> <li>Готовиться к техническим собеседованиям, где проверяют понимание системного дизайна LLM-инференса.</li> </ul><b>Структура программы</b><br> Курс состоит из двух самостоятельных модулей. Первый модуль фокусируется на принципах и оптимизации инференса, второй — на промышленном развертывании и построении прикладных AI-систем.<br> <br> <b>Модуль 1. Архитектура и оптимизация инференса LLM</b><br> В первой части вы изучите, как устроен инференс больших языковых моделей, какие узкие места возникают при обработке запросов и как современные фреймворки помогают повысить эффективность работы моделей.<br> <ul> <li>Основы инференса LLM и жизненный цикл запроса.</li> <li>Prefill, decode, batching и continuous batching.</li> <li>KV cache и оптимизация использования памяти.</li> <li>Механизмы внимания и FlashAttention.</li> <li>Квантизация моделей и компромиссы между скоростью, качеством и потреблением памяти.</li> <li>Профилирование производительности и поиск bottleneck-компонентов.</li> <li>Практическая работа с vLLM, SGLang, TensorRT-LLM и другими инструментами.</li> </ul><b>Модуль 2. Production-развертывание и edge-инференс</b><br> Во второй части курса вы перейдете от оптимизации отдельных моделей к созданию полноценных AI-сервисов, которые можно использовать в реальных продуктах и инфраструктуре.<br> <ul> <li>Промышленное развертывание LLM-сервисов.</li> <li>Распределенные вычисления и масштабирование инференса.</li> <li>Ray Serve и подходы к обслуживанию большого числа запросов.</li> <li>Edge-инференс на компактных устройствах.</li> <li>Запуск моделей на Raspberry Pi 4, Android и NVIDIA Jetson Orin Nano.</li> <li>Сравнение аппаратных платформ и анализ производительности.</li> <li>Построение надежных production-ready AI-приложений.</li> </ul><b>Практика и лабораторные работы</b><br> Большая часть курса построена вокруг практических заданий. Каждый учебный день сопровождается лабораторными работами в Google Colab, визуальными материалами, демонстрациями и разбором инженерных решений.<br> <br> Вы будете не только изучать теорию, но и запускать модели, измерять их производительность, анализировать использование ресурсов, сравнивать разные конфигурации и применять методы оптимизации на практике.<br> <br> <b>Оборудование и платформы</b><br> <ul> <li>Локальный компьютер для базового запуска и тестирования моделей.</li> <li>Google Colab для лабораторных работ и экспериментов.</li> <li>Raspberry Pi 4 для изучения ограничений edge-инференса.</li> <li>Android-устройство для запуска LLM на мобильной платформе.</li> <li>NVIDIA Jetson Orin Nano для практики с компактным GPU-ускорителем.</li> </ul><b>Итоговые проекты</b><br> В рамках курса вы реализуете два полноценных проекта, которые помогут закрепить навыки разработки и оптимизации систем инференса LLM.<br> <br> <b>Проект 1. Высокопроизводительный сервер инференса LLM</b><br> Вы пройдете полный путь от исходных весов модели до оптимизированного сервиса инференса. В процессе вы настроите запуск модели, проведете профилирование, выявите узкие места, примените техники ускорения и подготовите систему к обработке реальных запросов.<br> <ul> <li>Загрузка и подготовка модели.</li> <li>Настройка сервера инференса.</li> <li>Оптимизация latency и throughput.</li> <li>Анализ производительности каждого компонента.</li> <li>Подготовка сервиса к production-сценариям.</li> </ul><b>Проект 2. AI-помощник для WhatsApp</b><br> Второй проект посвящен созданию интеллектуального AI-помощника для WhatsApp. Он будет обрабатывать диалоги, генерировать ответы и улучшать свое поведение с помощью обучения с подкреплением на основе пользовательских взаимодействий.<br> <ul> <li>Интеграция LLM с чат-интерфейсом.</li> <li>Разработка логики AI-ассистента.</li> <li>Использование диалогов для улучшения качества ответов.</li> <li>Применение подходов reinforcement learning в прикладном сценарии.</li> </ul><b>Инструменты и технологии</b><br> Во время обучения вы познакомитесь с современным стеком инструментов, который используется для ускорения и масштабирования инференса больших языковых моделей.<br> <ul> <li>vLLM — высокопроизводительный inference engine для обслуживания LLM.</li> <li>SGLang — фреймворк для эффективного выполнения LLM-приложений.</li> <li>FlashAttention — оптимизированные механизмы внимания для ускорения работы трансформеров.</li> <li>TensorRT-LLM — инструменты NVIDIA для оптимизации инференса больших моделей.</li> <li>Ray Serve — решение для масштабируемого serving-а AI-моделей.</li> <li>Megatron-LM — фреймворк для работы с крупными языковыми моделями и распределенными вычислениями.</li> <li>Google Colab — среда для лабораторных работ и экспериментов.</li> </ul><b>Для кого подойдет курс</b><br> <ul> <li>ML-инженерам, которые хотят глубже разобраться в оптимизации и развертывании LLM.</li> <li>Backend- и infrastructure-инженерам, работающим с AI-сервисами и высоконагруженными системами.</li> <li>Data scientists, которые хотят перейти от экспериментов с моделями к production-разработке.</li> <li>AI-разработчикам, создающим чат-ботов, ассистентов и LLM-приложения.</li> <li>Техническим специалистам, готовящимся к собеседованиям в AI-компании.</li> <li>Основателям и техническим лидерам, которым нужно понимать стоимость, ограничения и архитектуру LLM-инференса.</li> </ul><b>Какие результаты вы получите</b><br> После прохождения курса вы сможете проектировать и внедрять системы инференса LLM, которые учитывают требования к скорости, стоимости, масштабируемости и надежности.<br> <ul> <li>Понимание внутренних механизмов работы LLM во время инференса.</li> <li>Навык оптимизации моделей под разные аппаратные платформы.</li> <li>Опыт работы с industry-standard инструментами для LLM serving.</li> <li>Умение проводить профилирование и принимать инженерные решения на основе метрик.</li> <li>Два практических проекта для портфолио.</li> <li>Более уверенная подготовка к техническим интервью по LLM-инфраструктуре.</li> </ul><b>Почему стоит изучать инференс LLM</b><br> Разработка больших языковых моделей — это не только обучение нейросетей. В реальных продуктах основная стоимость и сложность часто связаны именно с инференсом: скоростью ответов, нагрузкой на GPU, масштабированием, потреблением памяти и стабильностью сервиса.<br> <br> Специалисты, которые понимают, как эффективно обслуживать LLM в production, востребованы в командах, создающих AI-ассистентов, корпоративные чат-боты, агентные системы, поисковые продукты, инструменты для разработчиков и другие приложения на базе генеративного искусственного интеллекта.<br> <br> <b>Язык Английский</b><br> <br> <b>ИСТОЧНИК<br> </aside> <br> СКАЧАТЬ<br> </aside> </b>
]]></turbo:content>
</item><item turbo="true">
<turbo:extendedHtml>true</turbo:extendedHtml>
<link>https://many-courses.net/programmirovanie/17164-balun-courses-vladimir-balun-podgotovka-k-algoritmicheskim-sobesedovaniyam.html</link>
<author>Admin</author>
<category>Программирование, Data Science и аналитика, Владимир Балун</category>
<pubDate>Mon, 24 Aug 2026 16:18:06 +0300</pubDate>
<turbo:content><![CDATA[
<header>
<h1>balun.courses / Владимир Балун - Подготовка к алгоритмическим собеседованиям</h1>
</header>
Подготовиться к алгоритмическому собеседованию за 8 недель и увеличь свои шансы на трудоустройство в BigTech-компанию в 2 раза.</b><br> Без зубрёжки научишься правильно решать задачи, которые встретятся на реальном собеседовании, потренируешься на mock-собеседованиях и разберешь задания, которые встречались на собеседованиях в OZON, Tinkoff, ВК, СБЕР, Авито и Яндекс.<br> <br> <b>Этот курс подойдёт для Juniir и Middle-разработчиков:</b><br> Чтобы выжать из курса максимум, тебе необходимо знать основы программирования. Сам курс будет на Python, но тебе достаточно знать свой язык, на котором ты работаешь. Мы будем использовать простой синтаксис, который будет понятен всем.<br> <br> <b>Знакомая ситуация:</b><br> 1. Не могу устроиться в компанию мечты, спотыкаюсь об алгоритмическое собеседование<br> 2. Нарешиваю алгоритмические задачи, но не понимаю их сути. Информация в голове не структурирована<br> 3. Пару раз уже завалился на собеседованиях, потому что попадались сложные задачи, которые я не мог решить<br> 4. Не знаю, как правильно себя вести на собеседовании и как правильно разговаривать с интервьюером<br> 5. Знаю алгоритмы, но как только дело доходит до практики — не могу ничего сделать<br> 6. Не знаю, что меня ждет на собеседовании. Не понимаю, к чему готовиться и как его не провалить<br> <br> <b>Этот курс повысит твои шансы на трудоустройство в BigTech минимум в 2 раза:</b><br> 1. Изучишь теорию, которая точно понадобится для успешного прохождения алгоритмического собеседования<br> 2. Научишься понимать суть и идею каждой задачи без заучивания схемы решения<br> 3. Прорешаешь все задачи, которые могут встретиться на алгоритмическом собеседовании: простые и уровня hard+<br> 4. Узнаешь, как правильно вести себя на собеседовании и как общаться с интервьюером, чтобы не провалиться<br> 5. Разберешь задачи и ситуации, которые встречались на реальных собеседованиях в OZON, Яндекс, ВК, Тинькофф, СБЕР и Авито + узнаешь особенности прохождения собеседований в эти компании и типичные темы, которые они спрашивают<br> 6. Научишься решать сложные задачи и поймешь, что делать, если тебе попадается задание, которое не получается решить<br> <br> <b>Содержание:<br> Урок 1.</b><br> Построение одномерного и двумерного префиксного массива<br> Подзапросы на сумму, xor и умножение для префиксного массива<br> Популярные задачи на массивы<br> Результат:<br> Умеешь решать задачи на массивы, которые встречаются на собеседованиях в Сбермаркет, СБЕР, Озон и Яндекс<br> Умеешь распознавать задачи на префиксный массив и решать их<br> Умеешь давать оценку сложности по времени и памяти для каждой из разобранных задач<br> <b>Урок 2.</b><br> 2 указателя<br> Сортировка подсчетом (count sort)<br> Результат:<br> Умеешь решать задачи на самую популярную тему в алгоритмических собеседованиях на примере задач из СберМаркета, Озона, Яндекса и Дзена<br> Умеешь распознавать и решать задачи на count sort на примере задач из Авито<br> Дополнительно:<br> На примере реального собеседования в Авито научишься правильно отвечать на вопрос «когда стоит использовать count sort?»<br> <b>Урок 3.</b><br> Сканирующая прямая и работа с интервалами<br> Плавающее окно<br> Результат:<br> Научишься решать популярные задачи на интервалы и узнаешь, какие из них встретятся на собеседовании в VK и Яндекс<br> Научишься распознавать паттерн «плавающее окно» в задачах, и закрепишь свои знания на задачах из Яндекса<br> <b>Урок 4.</b><br> Связный список<br> Анаграммы, панаграммы и простые числа<br> Результат:<br> Умеешь решать задачи на связные списки, использя паттерны «2 pointers», «slow &amp; fast pointers» и другие базовые механики, на основе которых решается 90% задач на тему «связный список»<br> Знаешь задачи, которые любят давать на собеседовании в СберДевайсы<br> Умеешь решать задачи на тему «анаграммы» и «панаграммы» на примере задач из Яндекса<br> Дополнительно:<br> Научишься использовать решето Эратосфена для нахождения простых чисел<br> Узнаешь, на собеседование в какие компании тебе пригодятся знания о простых числах<br> <b>Урок 5.</b><br> Стек<br> Быстрая сортировка и способы выбора pivot-а<br> Quick select и когда его применять<br> Сортировка слиянием<br> Пузырьковая сортировка<br> Применение квадратичных сортировок на практике<br> Результат:<br> Умеешь решать задачи используя стек, и знаешь, какие задачи дают на эту тему на собеседовании в Авито и Яндекс<br> Умеешь реализовывать сортировки «quick sort», «merge sort» и «bubble sort»<br> Умеешь выбирать pivot-элемент для быстрой сортировки. Понимаешь различные стратегии выбора, а так же как меняется сложность быстрой сортировки при разных стратегиях<br> Умеешь использовать quick select для решения задач, которые попадутся на собеседовании в Авито<br> Дополнительно:<br> Научишься сортировать массив, который не помещается в память, и сможешь без проблем дать ответ на вопрос собеседующему из СберМаркета<br> Научишься решать задачи с использованием кучи и хорошо подготовишься к собеседованию в Авито — там очень любят давать задачи на эту структуру данных<br> <b>Урок 6.</b><br> Хеш-таблица<br> Длинная арифметика<br> Результат:<br> Умеешь использовать хеш-таблицу и решать задачи, которые встречаются на собеседовании в ВК, Авито и Яндекс<br> Знаешь, как реализовывать LRU и LFU-кеши, а так же знаешь, в каких компаниях дают задачи на их реализацию<br> Умеешь реализовывать длинную арифметику для получения максимально выгодного оффера на собеседовании в СберДевайсы<br> <b>Урок 7.</b><br> Бинарный поиск<br> Бинарный поиск по ответу<br> Куча<br> Результат:<br> Умеешь реализовывать бинарный поиск так, чтобы выглядел одинаково для 95% задач<br> Не путаешься в индексах при реализации бинарного поиска<br> Знаешь задачи на бинарный поиск, которые могут встретиться на собеседовании в ВК и Яндекс<br> Умеешь реализовывать кучу и знаешь, что такое «просеивание вверх и вниз», и как с их помощью писать «красивую» реализацию и не путаться в коде<br> Научишься решать задачи с использованием кучи и хорошо подготовишься к собеседованию в Авито — там очень любят давать задачи на эту структуру данных<br> <b>Урок 8.</b><br> Деревья<br> Поиск с возвратом (Backtracking)<br> Результат:<br> Умеешь решать задачи на деревья, которые очень популярны на собеседованиях в Яндекс<br> Умеешь использовать backtracking для задач, требующих полного перебора. Знаешь, как можно использовать рекурсию и системы счисления для его реализации.<br> Разберешься в решении задач на тему «backtracking», которые встречаются на собеседованиях в Авито и Озон<br> <br> <b>Тариф Стандарт. </b><br> <br> </aside> <br> </aside>
]]></turbo:content>
</item><item turbo="true">
<turbo:extendedHtml>true</turbo:extendedHtml>
<link>https://many-courses.net/business/17158-vizuara-ai-labs-dr-sreedath-panat-malye-yazykovye-modeli-slm-polnyy-process-sozdaniya-i-vnedre.html</link>
<author>Admin</author>
<category>Бизнес, менеджмент, продажи, Программирование, Нейросети, Prompt Engineering, Data Science и аналитика, Vizuara AI Labs</category>
<pubDate>Mon, 24 Aug 2026 16:17:27 +0300</pubDate>
<turbo:content><![CDATA[
<header>
<h1>Vizuara AI Labs - Dr. Sreedath Panat → Малые языковые модели (SLM): полный процесс создания и внедре</h1>
</header>
<b>SLM Engineering</b> — практический курс по созданию <i>малых языковых моделей (Small Language Models, SLM)</i> корпоративного уровня. За четыре недели вы пройдете полный цикл разработки: от подготовки данных и обучения токенизатора до предварительного обучения (Pretraining), Fine-Tuning, RLHF, реализации RAG, оптимизации инференса и развертывания модели в локальной инфраструктуре предприятия. Курс ориентирован на разработчиков и ML-инженеров, желающих самостоятельно создавать, обучать и внедрять современные AI-системы без зависимости от облачных сервисов.<br> <br> <b>Для кого предназначен курс</b><br> <ul> <li>Разработчиков, переходящих в сферу LLM Engineering, NLP и Enterprise AI.</li> <li>Инженеров, создающих чат-ботов, интеллектуальный поиск и системы анализа документов.</li> <li>Специалистов, которые хотят научиться самостоятельно обучать языковые модели, а не только использовать готовые API.</li> <li>Исследователей, которым необходимы практические навыки промышленной разработки AI.</li> </ul><b>Чему вы научитесь</b><br> <b>Архитектура Transformer</b><br> Подробно изучите внутреннее устройство современных языковых моделей: механизм внимания (Attention), Feed Forward-блоки, RMSNorm, Rotary Positional Encoding, эмбеддинги и взаимодействие всех компонентов архитектуры Transformer.<br> <br> <b>Подготовка данных и обучение токенизатора</b><br> Научитесь собирать, очищать и дедуплицировать датасеты, формировать корпуса данных, обучать собственные токенизаторы на основе BPE и SentencePiece, а также готовить данные для предварительного обучения и последующей настройки моделей.<br> <br> <b>Предварительное обучение (Pretraining)</b><br> Построите полноценный цикл обучения языковой модели с нуля, познакомитесь с законами масштабирования (Scaling Laws), научитесь анализировать функции потерь и оценивать эффективность процесса обучения.<br> <br> <b>Fine-Tuning с LoRA и QLoRA</b><br> Освоите современные методы параметроэффективной настройки моделей, включая LoRA, QLoRA, Supervised Fine-Tuning и 4-битную квантизацию. Узнаете, в каких случаях лучше использовать дообучение модели, а когда предпочтительнее применять RAG или инженерный подход к проектированию промптов.<br> <br> <b>Выравнивание моделей и безопасность</b><br> Изучите методы Reward Modeling, DPO и RLHF, научитесь реализовывать защиту от Prompt Injection, механизмы безопасных отказов, модерацию ответов и другие элементы безопасной эксплуатации языковых моделей.<br> <br> <b>RAG и оценка качества моделей</b><br> Создадите полноценную систему Retrieval-Augmented Generation с гибридным поиском, ранжированием результатов, ссылками на источники и использованием подходов LLM-as-a-Judge и Golden Sets для оценки качества моделей.<br> <br> <b>Инференс и оптимизация производительности</b><br> Разберетесь с особенностями работы этапов Prefill и Decode, использованием KV Cache, квантизацией моделей, Continuous Batching, Paged Attention и развертыванием высокопроизводительных серверов инференса на базе vLLM и llama.cpp.<br> <br> <b>Развертывание в продакшене</b><br> Научитесь создавать API для языковых моделей, организовывать потоковую обработку запросов, внедрять мониторинг, отслеживание деградации качества моделей, Canary-развертывания и автоматический цикл повторного обучения.<br> <br> <b>Полный цикл разработки SLM</b><br> Во время обучения вы реализуете полный производственный конвейер создания корпоративной языковой модели:<br> <ul> <li>сбор и подготовка данных;</li> <li>обучение токенизатора;</li> <li>создание эмбеддингов;</li> <li>обучение Transformer-модели;</li> <li>предварительное обучение;</li> <li>Fine-Tuning и RLHF;</li> <li>реализация RAG;</li> <li>оптимизация инференса;</li> <li>развертывание модели в корпоративной инфраструктуре.</li> </ul><b>Практический итоговый проект</b><br> Финальной работой станет разработка корпоративного помощника для анализа юридических договоров. Вы создадите собственную малую языковую модель, которая сможет автоматически извлекать и классифицировать положения договоров, обнаруживать персональные данные и конфиденциальную информацию, выполнять поиск по документам с точными ссылками на соответствующие разделы и работать полностью локально без передачи данных в облачные сервисы.<br> <br> <b>Результаты обучения</b><br> После завершения курса вы сможете самостоятельно проектировать, обучать, оптимизировать и внедрять Small Language Models (SLM) корпоративного уровня. Вы получите практический опыт работы с Transformer, LoRA, QLoRA, RLHF, RAG, vLLM, llama.cpp, промышленными AI-конвейерами и современными инструментами разработки LLM, а также пополните портфолио полноценным проектом, готовым к использованию в реальных корпоративных сценариях.<br> <br> <b>Язык Английский<br> <br> ИСТОЧНИК<br> </aside> <br> СКАЧАТЬ<br> </aside> </b>
]]></turbo:content>
</item><item turbo="true">
<turbo:extendedHtml>true</turbo:extendedHtml>
<link>https://many-courses.net/programmirovanie/17157-karpov-courses-evgeniy-ermakov-valeriy-sokolov-roman-bunin-inzhener-dannyh-obnovlenie-2026.html</link>
<author>Admin</author>
<category>Программирование, Софт, программы, скрипты, Базы данных и каталоги, Data Science и аналитика, Базы данных и SQL, karpov.courses</category>
<pubDate>Mon, 24 Aug 2026 16:17:19 +0300</pubDate>
<turbo:content><![CDATA[
<header>
<h1>Karpov.courses - Евгений Ермаков, Валерий Соколов, Роман Бунин → Инженер данных (Обновление 2026)</h1>
</header>
<b>Инженерия данных от проектирования до нетривиальной обработки.</b><br> <br> Научитесь правильно готовить данные любых размеров и сложности.<br> Обучающие выборки для машинного обучения и красивые графики для отчётов не появляются сами собой: данные нужно собирать, хранить, валидировать и комбинировать между собой, быстро реагируя на изменения в их структуре.<br> <br> Наша программа создана для профессионалов, которые стремятся к системному проектированию сложных решений. Вы будете работать с задачами, которые требуют не базовых навыков, а глубокого понимания инструментов и архитектуры.<br> Для эффективной работы с данными одного инструмента недостаточно — необходимо учитывать все взаимосвязи большого хранилища, понимать потребности заказчика и воспринимать данные как конечный продукт.<br> Сильный инженер данных за счёт широты знаний и понимания архитектуры DWH способен подобрать правильные инструменты под любые задачи и донести результат до потребителей данных.<br> <br> <b>Кому подойдет этот курс:</b><br> Он ориентирован на тех, кто уже имеет практический опыт в работе с данными и хочет перейти от решения отдельных задач к проектированию сквозных систем<br> <ul> <li>Аналитик данных<br> Вы уже постоянно взаимодействуете с базами данных, но хотите лучше разобраться в ETL-процессах и выйти на качественно новый уровень в аналитике</li> </ul><ul> <li>Инженер данных<br> Работаете с хранилищами данных, но хотите систематизировать знания и глубже погрузиться в актуальные технологии</li> </ul><ul> <li>BI-разработчик<br> Занимаетесь развитием систем бизнес-аналитики, хотите освоить архитектуру современных хранилищ данных и научиться их проектировать</li> </ul><ul> <li>Backend-разработчик<br> Имеете опыт бэкенд-разработки и хотите применить его для решения задач, связанных с хранением и обработкой больших данных</li> </ul><b>Какие инструменты освоите:</b><br> <br> Хранение<br> <ul> <li>Hadoop</li> <li>S3</li> <li>Greenplum</li> <li>PostgreSQL</li> </ul>Обработка<br> <ul> <li>Python</li> <li>SQL</li> <li>Hive</li> <li>Spark</li> <li>Kafka</li> </ul>Машинное обучение<br> <ul> <li>ML Flow</li> <li>Spark ML</li> </ul>Визуализация<br> <ul> <li>SuperSet</li> <li>Tableau</li> <li>DataLens</li> </ul>Оркестраторы<br> <ul> <li>Airflow</li> </ul><b>Программа<br> <br> Проектирвоание DWH</b><br> Data Warehouse — централизованное хранилище данных из разных источников. Познакомимся с его верхнеуровневой логической архитектурой, рассмотрим её основные компоненты и разберём на практике разные подходы к проектированию детального слоя DWH.<br> <br> 1. Архитектура DWH<br> Узнаем, что такое хранилище данных, как оно устроено и зачем в нём столько слоев. Обсудим и сравним подходы Инмона и Кимбалла к построению DWH.<br> <br> Нормальные формы<br> Познакомимся с важными аспектами теории нормальных форм, процессами нормализации и денормализации баз данных.<br> <br> Методология Dimensional Modeling<br> Многомерное моделирование является классическим подходом к созданию витрин данных. Рассмотрим популярные схемы — «звезда», «снежинка» и «созвездие». Обсудим таблицы фактов и измерений, поговорим о вариантах хранения медленно меняющихся измерений.<br> <br> Проектирование логической модели DWH<br> Спроектируем и опишем предметную область с помощью пройденных методологий.<br> <br> Методология Data Vault<br> Data Vault — один из современных подходов к проектированию хранилищ данных. Рассмотрим особенности и предпосылки возникновения новой методологии. Обсудим основные сущности Data Vault — Hub, Link, Satellite.<br> <br> Методология Anchor Modeling<br> Если довести нормализацию до предельной формы, получится Anchor Modeling. Рассмотрим особенности этой методологии и обсудим её основные сущности — Anchor, Link, Knot, Attribute<br> <br> Сравнение методологий проектирования<br> Сравним все рассмотренные подходы и выясним, как выбрать оптимальный для решения конкретной задачи.<br> <b><br> Реляционные и MPP СУБД</b><br> Начнём погружение в инженерию данных со знакомства с реляционными и MPP базами данных. Рассмотрим их архитектуру, обсудим популярные решения и узнаем, в каких случаях MPP СУБД оказываются лучше традиционных. Научимся готовить PostgreSQL и MPP базы данных на примере Greenplum.<br> <br> 1. Архитектура реляционных MPP баз данных<br> Рассмотрим, как устроены реляционные и MPP базы данных, и узнаем, для каких задач они подходят.<br> <br> 2. Объекты баз данных<br> Поговорим о таблицах и индексах, обсудим последовательности и возможные триггеры, рассмотрим процедуры и функции.<br> <br> 3. Подключение к PostgreSQL и Greenplum. Работа со словарем данных<br> Познакомимся с популярными клиентами для подключения к PostgreSQL и Greenplum. Посмотрим на основные объекты словаря данных и их содержимое. Научимся с помощью запросов получать информацию об объектах базы данных.<br> Создадим кластер PostgreSQL, создадим таблицы и выполним запросы к ним.<br> <br> 4. Обработка запросов в традиционных и MPP СУБД<br> Обсудим особенности построения запросов и научимся проводить анализ плана запроса. Поговорим об эффективных способах получения данных из Greenplum, разберёмся, чем Greenplum отличается от обычных реляционных баз данных, и рассмотрим особенности других популярных решений.<br> <br> 5. Обработка запросов в традиционных и MPP СУБД<br> Подключимся к кластеру Greenplum при помощи любого клиента (например, DBeaver). Изучим объекты в схеме tpch1. Построим план запроса, выполним "explain analyze", оценим фактические затраты на выполнение запроса и сформулируем выводы.<br> <br> 6. Применение R, Python и GeoSpatial в расчетах на Greenplum<br> Научимся проводить расчёты на R и Python прямо внутри Greenplum. Поработаем с пространственными объектами при помощи библиотеки PostGIS.<br> <br> 7. Применение R, Python и GeoSpatial в расчетах на Greenplum<br> Используя различные операторы и функции в GreenPlum, найдем информацию об имеющихся данных.<br> <b><br> Автоматизация ETL-ПРОЦЕССОВ</b><br> ETL — ключевой процесс в управлении хранилищами данных. Рассмотрим принципы и основные этапы его построения. Познакомимся с популярным инструментом Airflow, подробно разберём его основные компоненты и научимся с его помощью автоматизировать ETL-пайплайны.<br> <br> 1. ETL-процессы<br> Рассмотрим основные принципы построения ETL-процессов и познакомимся с планировщиками задач (шедулерами).<br> <br> 2. Знакомство с Airflow<br> Познакомимся с Airflow — инструментом для оркестровки ETL-процессов. Рассмотрим его основные компоненты: воркер, шедулер, веб-сервер, базу данных. Создадим в Airflow несколько задач (тасков), объединим их в цепочку (DAG) и посмотрим, как это работает на практике.<br> <br> 3. Сложные пайплайны, часть 1.<br> Скачаем репозиторий, настроим IDE для работы с ним. Создадим даг из нескольких тасков. Запушим даг в репозиторий и убедимся, что даг появился в интерфейсе airflow и отрабатывает без ошибок.<br> <br> 4. Сложные пайплайны, часть 2.<br> Для более сложных пайплайнов в Airflow есть дополнительные инструменты: сабдаги и группы тасков для группировки задач, Trigger Rules и BranchPythonOperator для настраивания правил, Jinja для параметризации и XCom для передачи данных между тасками. Научимся использовать все эти инструменты в работе.<br> Доработаем даг, который создали на прошлом занятии по заданным параметрам.<br> <br> 5. Разработка своих плагинов<br> В Airflow есть много готовых операторов, но иногда требуется автоматизировать работу с API или реализовать свой обработчик для стандартного источника. Научимся писать собственные хуки, операторы и сенсоры.<br> С помощью API найдём три особенные локации сериала "Рик и Морти".<br> <br> 6. Установка и настройка Airflow<br> Есть несколько способов развернуть Airflow: просто запустить pip3 install apache-airflow, развернуть готовый докер-образ или организовать хайлоад с кластеризацией. Обсудим плюсы и минусы каждого подхода. Посмотрим, какие настройки есть у Airflow, и научимся управлять инструментом через интерфейс командной строки.<br> <b><br> BIG DATA</b><br> Познакомимся с механизмами распределённого хранения больших данных на базе Hadoop, разберём основные паттерны реализации их распределённой обработки. Рассмотрим вопросы отказоустойчивости и восстановления после сбоев. Поговорим о потоковой обработке данных, методах и средствах мониторинга и профилирования заданий Spark.<br> <br> 1. Основы Hadoop. HDFS<br> Подробно рассмотрим Hadoop Distributed File System — реализацию идеи распределённого отказоустойчивого хранения в Hadoop экосистеме.<br> <br> 2. Основы Hadoop/ YARN, MapReduce<br> Познакомимся с универсальным менеджером ресурсов YARN, рассмотрим реализацию MapReduce парадигмы, обсудим её сильные и слабые стороны.<br> <br> 3. Основы Hadoop. YARN, MapReduce<br> Создадим S3 бакет в Object Storage и скопируем в него данные. Напишем map-reduce приложение, вычисляющее отчет на каждый месяц 2020 года определённого вида.<br> <br> 4. Hive. SQL для Big Data<br> Обсудим применение SQL на больших данных, рассмотрим всё от запросов до уровней хранения.<br> <br> 5. Hive. SQL для Big Data<br> Создадим S3 бакет в Object Storage и скопируем в него данные. После этого создим БД, зарегистрируем таблицу, подключимся к вашему hive и выполним SQL запрос.<br> <br> 6. HBase. Масштабируемая колоночная база данных.<br> Поговорим о NoSQL базах данных и рассмотрим колоночную базу данных в Hadoop.<br> <br> 7. Основы Spark<br> Познакомимся с основными идеями Spark, обсудим его отличия от MapReduce, поговорим про модель вычислений и RDD.<br> <br> 8. Spark SQL. Dataframes<br> Обсудим Spark Dataframe и научимся использовать SQL в Spark.<br> <br> 9. Основы Spark<br> Изучим данные от авиакомпанни и построим сводные таблицы при помощи Apache Spark.<br> <br> 10. Kafka. Spark Streaming<br> Поработаем с Kafka — масштабируемым брокером сообщений. Научимся обрабатывать данные на лету с помощью Spark Streaming.<br> <br> 11. Отладка, профилирование и мониторинг Spark Job<br> <b><br> Промежуточный проект</b><br> Для эффективной отработки навыков в курсе «Инженер данных» есть промежуточный практический проект, который воссоздает etl-процессы (airflow) крупной двухуровневой платформы данных. Проект максимально приближен по сути к рабочим задачам дата-инженера. В процессе работы над ним вы закрепите понимание инструментов airflow, spark + s3 и greenplum и поймете, как использовать их в связке друг с другом.<br> Проект доступен тем, кто прошел модуль Big data, на его выполнение дается две недели — в этот период не будут открываться другие уроки, чтобы вы не отвлекались.<br> <b><br> Облачное хранилище</b><br> Рассмотрим облачные решения и инструменты для построения DWH и Data Lake. Познакомимся с Kubernetes и научимся применять его для работы с данными. Поработаем с облаком на практике, рассмотрим процесс установки и настройки JupyterHub и Spark в Kubernetes.<br> <br> 1. Введение в облако<br> Поговорим об основных моделях облачных услуг: IaaS, PaaS, SaaS. Обсудим основы создания и использования виртуальных машин и сервисов. На практике рассмотрим работу виртуальных машин в облаке.<br> <br> 2. Введение в облако<br> Сделаем минимум для фундамента инфраструктуры в облаке - развернем виртуальную машину.<br> <br> 3. Облачная инфраструктура<br> Разберём ключевые особенности облачной инфраструктуры в контексте работы с данными. Выясним, на что стоит обращать внимание при разворачивании Hadoop, ClickHouse и Greenplum в облаке. Самостоятельно развернём и протестируем несколько систем.<br> Установим MLflow на VM, развернём Postgres в облаке, используя DBaaS, создадим S3 бакет. Далее запустим MLflow и установим JupyterHub на VM.<br> <br> 4. Особенности решений для работы с данными в облаках<br> Познакомимся с BigQuery, Snowflake, AWS Athena и другими популярными инструментами. Рассмотрим архитектуру хранилищ данных в облаках, обсудим традиционный и облачный подходы, поговорим про разнесение данных на слои.<br> <br> 5. Kubernetes для инженерии данных<br> Рассмотрим основной функционал Kubernetes, поговорим про его архитектуру и базовые абстракции. Обсудим имеющиеся в нём инструменты для инженерии данных — Spark, Airflow, Presto. Поработаем в облаке с кластером Kubernetes, развернём и протестируем в нём Spark и JupyterHub.<br> <br> 6. Kubernetes для инженерии данных<br> Создадим кластер, работать с ним будем с VM. Скопируем на VM kubeconfig. И в завершение установим JupyterHub и проверим его работоспособность в Kubernetes.<br> <br> 7. Разворачиваем Spark в Kubernetes<br> В кластере Kubernetes установим Spark Operator. Запустим своё приложение, которое прочитает данные из S3 и переложит их в другой бакет. Установим Spark History Server в Kubernetes и запустим приложение Spark, которое будет писать логи в Spark History Server.<br> <b><br> Визуализация данных</b><br> Рассмотрим основные принципы работы с данными с точки зрения их визуализации и научимся смотреть на данные глазами их потребителя. Познакомимся с Tableau — гибким и мощным BI-инструментом. Узнаем, как он взаимодействует с базами данных, и построим с его помощью интерактивный дашборд для мониторинга DWH платформы.<br> <br> 1. Зачем нужна визуализация. Основы Tableau<br> Разберёмся, зачем инженеру данных нужно изучать визуализацию, и поймём, какие бизнес-задачи она решает. Рассмотрим основные виды графиков и научимся строить их в Tableau.<br> <br> 2. Как сделать дашборд<br> Узнаем, какие существуют виды дашбордов, и познакомимся с базовыми правилами вёрстки и графического дизайна. Попробуем сделать свой дашборд в Tableau.<br> Разработаем дашборд по датасету с вакансиями аналитиков, состоящий минимум из трёх графиков.<br> <br> 3. Сбор требований. Dashboard Canvas<br> Узнаем, как правильно собирать требования для дашборда, чтобы он решал задачи пользователя. Познакомимся с фреймворком Dashboard Canvas и рассмотрим примеры его применения.<br> <br> 4. Подключение данных к Tableau<br> Посмотрим, как Tableau работает с данными, и узнаем, какие существуют модели данных и способы подключения к источникам. Рассмотрим запросы Tableau при подключении к базам данных в различных сценариях.<br> <br> 5. Кейсы. Разработка внутренних дашбордов по DWH<br> Обсудим, как с помощью дашбордов и KPI можно управлять DWH и BI как продуктами и улучшать качество работы этих систем.<br> <br> 6. Обзор DataLens и SuperSet<br> <b><br> BIG ML</b><br> Познакомимся с теорией распределённого машинного обучения. Научимся работать с популярным модулем Spark ML и рассмотрим подходы к обучению и применению моделей на больших данных.<br> <br> 1. Введение в машинное обучение<br> Рассмотрим базовые концепции машинного обучения. Разберёмся, как происходит обучение моделей, и узнаем, какую роль в этом процессе играют инженеры данных.<br> <br> 2. Теория распределенного обучения<br> Обсудим и сравним подходы к распределённому машинному обучению — Model Distributed и Data Distributed.<br> <br> 3. Spark ML<br> Познакомимся с реализацией распределённого машинного обучения на примере Spark ML. Научимся применять такие важные компоненты, как Transformers, Estimators, Pipeline, HT.<br> <br> 4. Spark ML<br> Решите 2 задачи при помощи Spark ML: о кредитном скоринге и кредитной оценке<br> <br> 5. Применение нераспределенных ML-моделей на больших данных<br> Создадим Pandas UDF функцию, которая должна будет частично скрывать номера банковских карт.<br> <br> 6. Идентификация ботов<br> Займёмся задачей идентификацией ботов среди пользовательских сессий.<br> <b><br> Управление моделями</b><br> В работе инженеры часто сталкиваются с подготовкой данных для обучения ML-моделей. Рассмотрим инструменты для построения ML-пайплайнов, версионирования датасетов, организации учёта и трекинга моделей.<br> <br> 1. Пайплайн обучения ML-модели<br> Рассмотрим основные этапы общего пайплайна обучения любой модели. Разберёмся, зачем готовить датасеты и как управлять этим процессом. Обсудим проблемы, с которыми сталкиваются при обучении моделей — воспроизводимость экспериментов, трекинг, протухание.<br> <br> 2. Версионирование данных (DVC)<br> Обсудим методы и подходы к версионированию данных на примере Data Version Control (DVC). Научимся вести версионирование датасетов и пользоваться ими.<br> Зарегистрируем файл данных в DVC, разместим в удаленном хранилище и выполним коммит изменений в вашей ветке, отправим изменения в репозиторий. Запустим проверку решения.<br> <br> 3. Применение MLFlow для учета и трекинга моделей<br> Научимся применять MLFlow для сохранения и выгрузки моделей в процессе проведения над ними экспериментов.<br> Возьмём задачу автоматизации процессов страховой компании. Добавим разметку эксперимента для трекинга процесса обучения модели в MLFlow.<br> <b><br> Управление данными</b><br> На практике часто приходится иметь дело с разными данными и огромным числом интеграций и процессов, выполняющих над ними те или иные преобразования. Познакомимся с популярными подходами к управлению данными, обсудим инструменты для контроля качества данных и отслеживания их происхождения.<br> <br> 1. Data Management<br> Поговорим об управлении данными, рассмотрим составляющие этого процесса и узнаем, почему он так важен.<br> <br> 2. Data Security<br> Данные — один из важнейших активов любой компании. Обсудим подходы, применяемые для обеспечения их безопасности.<br> <br> 3. Data Quality<br> Чтобы с данными было удобно работать, они должны отвечать определённым требованиям к их качеству. Разберёмся, что такое Data Quality и как его оценивать.<br> <br> 4. Deequ для DataQuality<br> Используя возможности pydeequ, разработаем задачу по анализу данных и сохранению отчета с анализом в папку.<br> <br> <b>ИСТОЧНИК<br> </aside> <br> СКАЧАТЬ<br> </aside> </b>
]]></turbo:content>
</item></channel></rss>