Базы данных и SQL - Онлайн курсы от 49 рублей https://many-courses.net/ Базы данных и SQL - Онлайн курсы от 49 рублей true https://many-courses.net/programmirovanie/17175-devhands-aleksey-belozerskiy-clickhouse-dlya-analitikov-i-inzhenerov-dannyh.html Admin Программирование, Data Science и аналитика, Базы данных и SQL, DevHands Mon, 24 Aug 2026 16:19:37 +0300

Devhands - Алексей Белозерский → Clickhouse для аналитиков и инженеров данных

Научитесь эффективно использовать Clickhouse: возможности, архитектурные компромиссы и ограничения.
  • Изучить Clickhouse - популярную колоночную СУБД для аналитики данных и разработки приложений и прнять, для каких задач эффективно применять Clickhouse.
  • Обрабатывать миллиарды строк за секунды. Выполнять за доли секунды аналитические запросы, которые в PostgreSQL или Spark занимали минуты.
  • Познакомиться с внутренней архитектурой одиночных и кластерных инсталляций.
  • Разобраться со многими особенностями ClickHouse и с типичными ошибками. Грамотно хранить терабайты аналитических данных с минимальными затратами.
Кому подойдет курс:
  • Аналитикам данных
  • Инженерам данных
  • Архитекторам данных
  • Разработчикам
Программа

Встречи: 6 недель (1 встреча в неделю)
Живые лекции с экспертом, Алексеем Белозерским. Ведется запись, ссылка выкладывается в чат. Все встречи начинаются в 18-00 МСК, проходят в Zoom. Ссылка на Zoom-митинг «запинена» в чате.

Занятие 1. Архитектура Clickhouse
  • Какие бывают СУБД. Реляционные и нереляционные, строковые и колоночные, транзакционные и нетразакционные, ACID & BASE
  • Особенности Clickhouse. Выбранные при разработке СУБД компромисы.
  • CAP теорема и гарантии отказоустойчивости и целостности данных
  • Области применения Clickhouse. Как надо и как не надо.
  • Строковые и колоночные данные. Отличие Postgres vs Clickhouse
  • Архитектура Clickhouse. Шарды и реплики. Zookeeper, Clickhouse keeper.
Практика
  • Поднимаем Clickhouse на Ubuntu в простейших случаях, single инсталляция. Подключение к СУБД через clickhouse-client, DBeaver.
  • Создаем таблицы - от простого к сложному. Типы данные в Clickhouse, кодеки, движки для single инсталляции
  • Подключаемся через SQL Driver (JDBC), по HTTP, через Python. Как устроено подключение к Кликхаусу «под капотом».
  • Как отконфигурировать систему, базовые текстовые конфиги. Популярные оптимизации. Лучшие практики для различных ситуаций.
Занятие 2. Данные внутри Clickhouse
  • Движок MergeTree, LSN Tree.
  • Data Parts. Слияния и мутации данных
  • Реальный формат хранения данных на диске под капотом Clickhouse.
  • Особенности хранения. Как они влияют на производительность SQL.
  • Работа с дисковой подсистемой. Температурная карта хранения на различных типах дисков и работа с S3.
  • Вставка данных большими батчами. Лучшие практики.
  • Заводим таблицу в Clickhouse - режим эксперта. Какие есть опции и команды
Практика:
  • Исследуем data parts на диске и в служебных таблицах Clickhouse. Изучаем оптимизации и слияния данных. Как понять по data parts, что данные успешно принято СУБД.
  • Data Parts в файловой системе - как хранятся данные на диске. Какое влияние оказывается на ФС и систему в различных ситуациях и режимах эксплуатации.
  • CREATE TABLE - режим эксперта. Продвинутые кодеки и оптимизация хранения. TTL, температурная карта и т.д.
Занятие 3. Использование Clickhouse в приложениях
  • Как подключиться к Clickhouse: HTTP, JDBC. Балансировка подключений. Дополнительнеы инструменты для управления подключениями в современных архитектурах приложений.
  • Шардирование данных. Локальность. Как приложение узнает, куда ему полючиться в сложной конфигурации кластеров Clickhouse.
  • Примеры применения в архитектуре приложений. Кейс встроенной аналитики.
  • Работа с большими потоками данных, масштабирование потока. Кейс данных SIEM.
  • Кейс сборщика метрик, StatsHouse.
  • Back to CAP Theorem. Консистентность данных в Clickhouse. BASE и его особенности. Что нужно понимать разработчку об особенностях СУБД и его поведении в различных ситуациях.
  • Мониторинг здоровья Clikhouse. За чем нужно следить в кластере.
Практика: подключаемся к clickhouse из python как пример совместной работы в приложениях
  • Балансировка подключений к Clickhouse. Какие настройки и требования к балансировщикам нужно соблюдать, чтобы не совершать ошибок новичка.
  • Делаем дашборды здоровья Clickhouse для Single, Cluster архтектур. Алертим о неполадках в кластере.
  • Элементы OLTP сценарием - когда все-таки можно?
Занятие 4. Обработка данных в Clickhouse
  • Пайплайны в кластере Clickhouse. Еще раз о гаратиях BASE.
  • Движки X-MergeTree - что нужно знать.
  • Особенности представлений и их материализации в Clickhouse. MV into Table - когда используем.
  • Работа с партициями
  • Мутации данных. ALTER TABLE Clickhouse-way
  • Следим за мутациями
  • Clickhouse + Airflow. Clickhouse + DBT. Tips & Tricks.
  • Оптимизации - кодеки данных. TTL и тепловая карта, вычислимые поля.
  • Встроенные коннекторы: JDBC, S3, Kafka, Iceberg
Практика:
  • Используем Airflow + DBT для разработки пайплайнов на базе clickhouse.
  • Когда ETL в Clickhouse - плохая идея. Архитектурыне пределы системы, примеры неудачных решений и варианты борьбы с ними («скорая помощь») и обходных путей.
  • Кликхаус-специфичные практики для инженеров данных.
  • Об оптимизации запросов - практические примеры для обработки больших данных.
  • Тюнинг СУБД для работы с большими данными. Уровень кластера, сессии, запроса.
Занятие 5. Аналитика данных в Clickhouse
  • Особенности Clickhouse SQL
  • Функции и дополнительные аналитические non-ANSI-SQL операторы к Clickhouse. Что полезно знать.
  • Траблшутинг и планирование запросов. Что делать если запрос медленные или упал.
  • Кластерный и одиночный Clickhouse с точки зрения написания SQL
  • Tips & tricks. Что делать, если SQL запрос падает с ошибкой.
Практика
  • Используем дополнительные функции clickhouse SQL для аналитики.
  • Аналитические кейсы: считаем ретеншн, АБ-тесты
Занятие 6. Резерв для Q&A (сессии вопросов-ответов). Advanced опции
  • Clickhouse + Lakehouse, Iceberg REST.
  • Фичи Сlickhouse 26.x и другие нововведения
Старт 11 июня

ИСТОЧНИК

СКАЧАТЬ
 ]]> true https://many-courses.net/programmirovanie/17157-karpov-courses-evgeniy-ermakov-valeriy-sokolov-roman-bunin-inzhener-dannyh-obnovlenie-2026.html Admin Программирование, Софт, программы, скрипты, Базы данных и каталоги, Data Science и аналитика, Базы данных и SQL, karpov.courses Mon, 24 Aug 2026 16:17:19 +0300

Karpov.courses - Евгений Ермаков, Валерий Соколов, Роман Бунин → Инженер данных (Обновление 2026)

Инженерия данных от проектирования до нетривиальной обработки.

Научитесь правильно готовить данные любых размеров и сложности.
Обучающие выборки для машинного обучения и красивые графики для отчётов не появляются сами собой: данные нужно собирать, хранить, валидировать и комбинировать между собой, быстро реагируя на изменения в их структуре.

Наша программа создана для профессионалов, которые стремятся к системному проектированию сложных решений. Вы будете работать с задачами, которые требуют не базовых навыков, а глубокого понимания инструментов и архитектуры.
Для эффективной работы с данными одного инструмента недостаточно — необходимо учитывать все взаимосвязи большого хранилища, понимать потребности заказчика и воспринимать данные как конечный продукт.
Сильный инженер данных за счёт широты знаний и понимания архитектуры DWH способен подобрать правильные инструменты под любые задачи и донести результат до потребителей данных.

Кому подойдет этот курс:
Он ориентирован на тех, кто уже имеет практический опыт в работе с данными и хочет перейти от решения отдельных задач к проектированию сквозных систем
  • Аналитик данных
    Вы уже постоянно взаимодействуете с базами данных, но хотите лучше разобраться в ETL-процессах и выйти на качественно новый уровень в аналитике
  • Инженер данных
    Работаете с хранилищами данных, но хотите систематизировать знания и глубже погрузиться в актуальные технологии
  • BI-разработчик
    Занимаетесь развитием систем бизнес-аналитики, хотите освоить архитектуру современных хранилищ данных и научиться их проектировать
  • Backend-разработчик
    Имеете опыт бэкенд-разработки и хотите применить его для решения задач, связанных с хранением и обработкой больших данных
Какие инструменты освоите:

Хранение
  • Hadoop
  • S3
  • Greenplum
  • PostgreSQL
Обработка
  • Python
  • SQL
  • Hive
  • Spark
  • Kafka
Машинное обучение
  • ML Flow
  • Spark ML
Визуализация
  • SuperSet
  • Tableau
  • DataLens
Оркестраторы
  • Airflow
Программа

Проектирвоание DWH
Data Warehouse — централизованное хранилище данных из разных источников. Познакомимся с его верхнеуровневой логической архитектурой, рассмотрим её основные компоненты и разберём на практике разные подходы к проектированию детального слоя DWH.

1. Архитектура DWH
Узнаем, что такое хранилище данных, как оно устроено и зачем в нём столько слоев. Обсудим и сравним подходы Инмона и Кимбалла к построению DWH.

Нормальные формы
Познакомимся с важными аспектами теории нормальных форм, процессами нормализации и денормализации баз данных.

Методология Dimensional Modeling
Многомерное моделирование является классическим подходом к созданию витрин данных. Рассмотрим популярные схемы — «звезда», «снежинка» и «созвездие». Обсудим таблицы фактов и измерений, поговорим о вариантах хранения медленно меняющихся измерений.

Проектирование логической модели DWH
Спроектируем и опишем предметную область с помощью пройденных методологий.

Методология Data Vault
Data Vault — один из современных подходов к проектированию хранилищ данных. Рассмотрим особенности и предпосылки возникновения новой методологии. Обсудим основные сущности Data Vault — Hub, Link, Satellite.

Методология Anchor Modeling
Если довести нормализацию до предельной формы, получится Anchor Modeling. Рассмотрим особенности этой методологии и обсудим её основные сущности — Anchor, Link, Knot, Attribute

Сравнение методологий проектирования
Сравним все рассмотренные подходы и выясним, как выбрать оптимальный для решения конкретной задачи.

Реляционные и MPP СУБД
Начнём погружение в инженерию данных со знакомства с реляционными и MPP базами данных. Рассмотрим их архитектуру, обсудим популярные решения и узнаем, в каких случаях MPP СУБД оказываются лучше традиционных. Научимся готовить PostgreSQL и MPP базы данных на примере Greenplum.

1. Архитектура реляционных MPP баз данных
Рассмотрим, как устроены реляционные и MPP базы данных, и узнаем, для каких задач они подходят.

2. Объекты баз данных
Поговорим о таблицах и индексах, обсудим последовательности и возможные триггеры, рассмотрим процедуры и функции.

3. Подключение к PostgreSQL и Greenplum. Работа со словарем данных
Познакомимся с популярными клиентами для подключения к PostgreSQL и Greenplum. Посмотрим на основные объекты словаря данных и их содержимое. Научимся с помощью запросов получать информацию об объектах базы данных.
Создадим кластер PostgreSQL, создадим таблицы и выполним запросы к ним.

4. Обработка запросов в традиционных и MPP СУБД
Обсудим особенности построения запросов и научимся проводить анализ плана запроса. Поговорим об эффективных способах получения данных из Greenplum, разберёмся, чем Greenplum отличается от обычных реляционных баз данных, и рассмотрим особенности других популярных решений.

5. Обработка запросов в традиционных и MPP СУБД
Подключимся к кластеру Greenplum при помощи любого клиента (например, DBeaver). Изучим объекты в схеме tpch1. Построим план запроса, выполним "explain analyze", оценим фактические затраты на выполнение запроса и сформулируем выводы.

6. Применение R, Python и GeoSpatial в расчетах на Greenplum
Научимся проводить расчёты на R и Python прямо внутри Greenplum. Поработаем с пространственными объектами при помощи библиотеки PostGIS.

7. Применение R, Python и GeoSpatial в расчетах на Greenplum
Используя различные операторы и функции в GreenPlum, найдем информацию об имеющихся данных.

Автоматизация ETL-ПРОЦЕССОВ
ETL — ключевой процесс в управлении хранилищами данных. Рассмотрим принципы и основные этапы его построения. Познакомимся с популярным инструментом Airflow, подробно разберём его основные компоненты и научимся с его помощью автоматизировать ETL-пайплайны.

1. ETL-процессы
Рассмотрим основные принципы построения ETL-процессов и познакомимся с планировщиками задач (шедулерами).

2. Знакомство с Airflow
Познакомимся с Airflow — инструментом для оркестровки ETL-процессов. Рассмотрим его основные компоненты: воркер, шедулер, веб-сервер, базу данных. Создадим в Airflow несколько задач (тасков), объединим их в цепочку (DAG) и посмотрим, как это работает на практике.

3. Сложные пайплайны, часть 1.
Скачаем репозиторий, настроим IDE для работы с ним. Создадим даг из нескольких тасков. Запушим даг в репозиторий и убедимся, что даг появился в интерфейсе airflow и отрабатывает без ошибок.

4. Сложные пайплайны, часть 2.
Для более сложных пайплайнов в Airflow есть дополнительные инструменты: сабдаги и группы тасков для группировки задач, Trigger Rules и BranchPythonOperator для настраивания правил, Jinja для параметризации и XCom для передачи данных между тасками. Научимся использовать все эти инструменты в работе.
Доработаем даг, который создали на прошлом занятии по заданным параметрам.

5. Разработка своих плагинов
В Airflow есть много готовых операторов, но иногда требуется автоматизировать работу с API или реализовать свой обработчик для стандартного источника. Научимся писать собственные хуки, операторы и сенсоры.
С помощью API найдём три особенные локации сериала "Рик и Морти".

6. Установка и настройка Airflow
Есть несколько способов развернуть Airflow: просто запустить pip3 install apache-airflow, развернуть готовый докер-образ или организовать хайлоад с кластеризацией. Обсудим плюсы и минусы каждого подхода. Посмотрим, какие настройки есть у Airflow, и научимся управлять инструментом через интерфейс командной строки.

BIG DATA
Познакомимся с механизмами распределённого хранения больших данных на базе Hadoop, разберём основные паттерны реализации их распределённой обработки. Рассмотрим вопросы отказоустойчивости и восстановления после сбоев. Поговорим о потоковой обработке данных, методах и средствах мониторинга и профилирования заданий Spark.

1. Основы Hadoop. HDFS
Подробно рассмотрим Hadoop Distributed File System — реализацию идеи распределённого отказоустойчивого хранения в Hadoop экосистеме.

2. Основы Hadoop/ YARN, MapReduce
Познакомимся с универсальным менеджером ресурсов YARN, рассмотрим реализацию MapReduce парадигмы, обсудим её сильные и слабые стороны.

3. Основы Hadoop. YARN, MapReduce
Создадим S3 бакет в Object Storage и скопируем в него данные. Напишем map-reduce приложение, вычисляющее отчет на каждый месяц 2020 года определённого вида.

4. Hive. SQL для Big Data
Обсудим применение SQL на больших данных, рассмотрим всё от запросов до уровней хранения.

5. Hive. SQL для Big Data
Создадим S3 бакет в Object Storage и скопируем в него данные. После этого создим БД, зарегистрируем таблицу, подключимся к вашему hive и выполним SQL запрос.

6. HBase. Масштабируемая колоночная база данных.
Поговорим о NoSQL базах данных и рассмотрим колоночную базу данных в Hadoop.

7. Основы Spark
Познакомимся с основными идеями Spark, обсудим его отличия от MapReduce, поговорим про модель вычислений и RDD.

8. Spark SQL. Dataframes
Обсудим Spark Dataframe и научимся использовать SQL в Spark.

9. Основы Spark
Изучим данные от авиакомпанни и построим сводные таблицы при помощи Apache Spark.

10. Kafka. Spark Streaming
Поработаем с Kafka — масштабируемым брокером сообщений. Научимся обрабатывать данные на лету с помощью Spark Streaming.

11. Отладка, профилирование и мониторинг Spark Job

Промежуточный проект
Для эффективной отработки навыков в курсе «Инженер данных» есть промежуточный практический проект, который воссоздает etl-процессы (airflow) крупной двухуровневой платформы данных. Проект максимально приближен по сути к рабочим задачам дата-инженера. В процессе работы над ним вы закрепите понимание инструментов airflow, spark + s3 и greenplum и поймете, как использовать их в связке друг с другом.
Проект доступен тем, кто прошел модуль Big data, на его выполнение дается две недели — в этот период не будут открываться другие уроки, чтобы вы не отвлекались.

Облачное хранилище
Рассмотрим облачные решения и инструменты для построения DWH и Data Lake. Познакомимся с Kubernetes и научимся применять его для работы с данными. Поработаем с облаком на практике, рассмотрим процесс установки и настройки JupyterHub и Spark в Kubernetes.

1. Введение в облако
Поговорим об основных моделях облачных услуг: IaaS, PaaS, SaaS. Обсудим основы создания и использования виртуальных машин и сервисов. На практике рассмотрим работу виртуальных машин в облаке.

2. Введение в облако
Сделаем минимум для фундамента инфраструктуры в облаке - развернем виртуальную машину.

3. Облачная инфраструктура
Разберём ключевые особенности облачной инфраструктуры в контексте работы с данными. Выясним, на что стоит обращать внимание при разворачивании Hadoop, ClickHouse и Greenplum в облаке. Самостоятельно развернём и протестируем несколько систем.
Установим MLflow на VM, развернём Postgres в облаке, используя DBaaS, создадим S3 бакет. Далее запустим MLflow и установим JupyterHub на VM.

4. Особенности решений для работы с данными в облаках
Познакомимся с BigQuery, Snowflake, AWS Athena и другими популярными инструментами. Рассмотрим архитектуру хранилищ данных в облаках, обсудим традиционный и облачный подходы, поговорим про разнесение данных на слои.

5. Kubernetes для инженерии данных
Рассмотрим основной функционал Kubernetes, поговорим про его архитектуру и базовые абстракции. Обсудим имеющиеся в нём инструменты для инженерии данных — Spark, Airflow, Presto. Поработаем в облаке с кластером Kubernetes, развернём и протестируем в нём Spark и JupyterHub.

6. Kubernetes для инженерии данных
Создадим кластер, работать с ним будем с VM. Скопируем на VM kubeconfig. И в завершение установим JupyterHub и проверим его работоспособность в Kubernetes.

7. Разворачиваем Spark в Kubernetes
В кластере Kubernetes установим Spark Operator. Запустим своё приложение, которое прочитает данные из S3 и переложит их в другой бакет. Установим Spark History Server в Kubernetes и запустим приложение Spark, которое будет писать логи в Spark History Server.

Визуализация данных
Рассмотрим основные принципы работы с данными с точки зрения их визуализации и научимся смотреть на данные глазами их потребителя. Познакомимся с Tableau — гибким и мощным BI-инструментом. Узнаем, как он взаимодействует с базами данных, и построим с его помощью интерактивный дашборд для мониторинга DWH платформы.

1. Зачем нужна визуализация. Основы Tableau
Разберёмся, зачем инженеру данных нужно изучать визуализацию, и поймём, какие бизнес-задачи она решает. Рассмотрим основные виды графиков и научимся строить их в Tableau.

2. Как сделать дашборд
Узнаем, какие существуют виды дашбордов, и познакомимся с базовыми правилами вёрстки и графического дизайна. Попробуем сделать свой дашборд в Tableau.
Разработаем дашборд по датасету с вакансиями аналитиков, состоящий минимум из трёх графиков.

3. Сбор требований. Dashboard Canvas
Узнаем, как правильно собирать требования для дашборда, чтобы он решал задачи пользователя. Познакомимся с фреймворком Dashboard Canvas и рассмотрим примеры его применения.

4. Подключение данных к Tableau
Посмотрим, как Tableau работает с данными, и узнаем, какие существуют модели данных и способы подключения к источникам. Рассмотрим запросы Tableau при подключении к базам данных в различных сценариях.

5. Кейсы. Разработка внутренних дашбордов по DWH
Обсудим, как с помощью дашбордов и KPI можно управлять DWH и BI как продуктами и улучшать качество работы этих систем.

6. Обзор DataLens и SuperSet

BIG ML
Познакомимся с теорией распределённого машинного обучения. Научимся работать с популярным модулем Spark ML и рассмотрим подходы к обучению и применению моделей на больших данных.

1. Введение в машинное обучение
Рассмотрим базовые концепции машинного обучения. Разберёмся, как происходит обучение моделей, и узнаем, какую роль в этом процессе играют инженеры данных.

2. Теория распределенного обучения
Обсудим и сравним подходы к распределённому машинному обучению — Model Distributed и Data Distributed.

3. Spark ML
Познакомимся с реализацией распределённого машинного обучения на примере Spark ML. Научимся применять такие важные компоненты, как Transformers, Estimators, Pipeline, HT.

4. Spark ML
Решите 2 задачи при помощи Spark ML: о кредитном скоринге и кредитной оценке

5. Применение нераспределенных ML-моделей на больших данных
Создадим Pandas UDF функцию, которая должна будет частично скрывать номера банковских карт.

6. Идентификация ботов
Займёмся задачей идентификацией ботов среди пользовательских сессий.

Управление моделями
В работе инженеры часто сталкиваются с подготовкой данных для обучения ML-моделей. Рассмотрим инструменты для построения ML-пайплайнов, версионирования датасетов, организации учёта и трекинга моделей.

1. Пайплайн обучения ML-модели
Рассмотрим основные этапы общего пайплайна обучения любой модели. Разберёмся, зачем готовить датасеты и как управлять этим процессом. Обсудим проблемы, с которыми сталкиваются при обучении моделей — воспроизводимость экспериментов, трекинг, протухание.

2. Версионирование данных (DVC)
Обсудим методы и подходы к версионированию данных на примере Data Version Control (DVC). Научимся вести версионирование датасетов и пользоваться ими.
Зарегистрируем файл данных в DVC, разместим в удаленном хранилище и выполним коммит изменений в вашей ветке, отправим изменения в репозиторий. Запустим проверку решения.

3. Применение MLFlow для учета и трекинга моделей
Научимся применять MLFlow для сохранения и выгрузки моделей в процессе проведения над ними экспериментов.
Возьмём задачу автоматизации процессов страховой компании. Добавим разметку эксперимента для трекинга процесса обучения модели в MLFlow.

Управление данными
На практике часто приходится иметь дело с разными данными и огромным числом интеграций и процессов, выполняющих над ними те или иные преобразования. Познакомимся с популярными подходами к управлению данными, обсудим инструменты для контроля качества данных и отслеживания их происхождения.

1. Data Management
Поговорим об управлении данными, рассмотрим составляющие этого процесса и узнаем, почему он так важен.

2. Data Security
Данные — один из важнейших активов любой компании. Обсудим подходы, применяемые для обеспечения их безопасности.

3. Data Quality
Чтобы с данными было удобно работать, они должны отвечать определённым требованиям к их качеству. Разберёмся, что такое Data Quality и как его оценивать.

4. Deequ для DataQuality
Используя возможности pydeequ, разработаем задачу по анализу данных и сохранению отчета с анализом в папку.

ИСТОЧНИК

СКАЧАТЬ
 ]]> true https://many-courses.net/programmirovanie/17154-it-skills-anton-sevostyanov-luna-linux-ustanovka-nastroyka-administrirovanie.html Admin Программирование, DevOps и администрирование, Базы данных и SQL Mon, 24 Aug 2026 16:17:03 +0300

IT-Skills / Антон Севостьянов - LУНА «Linux: установка настройка администрирование»

LУНА «Linux: установка настройка администрирование» (2026)

Слив курса LУНА «Linux: установка настройка администрирование» [IT-Skills] [Антон Севостьянов]
Курс на котором вы научитесь управлять серверами, сетями, базами данных и системами мониторинга,
а также автоматизировать задачи, обеспечивая стабильность и безопасность рабочих окружений на базе Linux.

Программа курса:
Кол-во уроков: 106
  1. Основы сетевых технологий
  2. Базовые команды Linux (Ubuntu)
  3. Файловая база 1С (Samba Server)
  4. Клиент серверная 1C (Apache PostgreSQL)
  5. Системные утилиты
  6. MikroTIK
  7. Сетевые утилиты
  8. Информационная безопасность
Программа подробно: 1. Основы сетевых технологий
Этот модуль — ваш полный путеводитель по миру компьютерных сетей, от физического уровня до логических структур. Мы начнем с основ: вы изучите, как проектируются сети с помощью различных топологий, познакомитесь с типами кабелей — от витой пары до оптоволокна — и получите практические навыки по их обжиму и подключению к розетке.

Вы научитесь не только создавать надежные соединения, но и тестировать их, диагностировать проблемы, когда «жила не звонится», и применять нестандартные решения, например, подключение двух устройств через один кабель. Завершает этот блок важная тема защиты инфраструктуры от воды и других внешних факторов.

Далее мы перейдем к архитектуре сетей. Вы глубоко поймете знаменитую модель OSI и взаимодействие ее уровней, что является основным языком для любого сетевого инженера. Мы разберемся, для чего нужны различные сетевые устройства, как организуется монтаж в серверных стойках и шкафах, и как классифицируются серверы. Отдельное внимание уделяется профессиональному монтажу СКС — золотому стандарту построения надежной инфраструктуры.

Финальная часть модуля посвящена стеку протоколов TCP/IP, который является реальным фундаментом современного интернета. Мы детально разберем ключевые концепции: что такое IP-адрес, как маска подсети разделяет сеть на сегменты, зачем нужен шлюз для выхода в другие сети и как порты направляют трафик нужным приложениям.

В итоге вы получите целостное понимание того, как данные путешествуют от медного провода до экрана вашего компьютера.

2. Базовые команды Linux (Ubuntu)
Этот модуль — ваш полный путь к пониманию операционной системы Linux. Мы начнем с самых азов: вы узнаете, что такое Linux и чем отличаются его дистрибутивы, как выбрать подходящий вариант и где скачать образ Ubuntu Server.

Затем мы подробно разберем процесс установки серверной операционной системы — от создания загрузочной флешки до настройки базовых параметров. Как только система будет установлена, вы освоите один из ключевых навыков администрирования — удаленное подключение по SSH с помощью программы PuTTY, что позволит вам управлять сервером с любого устройства.

Далее мы погрузимся в мир командной строки. Вы освоите базовый синтаксис команд и научитесь работать со встроенной справкой через команды man и --help. На практике изучите основные операции с файловой системой: навигацию (cd, pwd), создание и удаление каталогов (mkdir, rmdir), работу с файлами (touch, cp, mv, rm).

Чтобы обучение было не только эффективным, но и удобным, мы поделимся методиками, которые помогут быстро запоминать команды, и покажем фишки, упрощающие повседневную работу — такие как автодополнение и история команд.

Следующий шаг — освоение мощных инструментов для эффективной работы. Вы узнаете, как с помощью команды grep и оператора pipe (|) можно фильтровать и анализировать вывод других команд, создавая сложные сценарии обработки данных.

Мы детально разберем один из самых мощных и распространенных текстовых редакторов — Vim, без которого немыслима работа профессионального администратора. Вы научитесь его основным режимам и ключевым командам для редактирования конфигурационных файлов.

Завершающая часть модуля посвящена управлению системой. Вы освоите установку, обновление и удаление программ с помощью пакетного менеджера apt-get.

Глубоко разберетесь в системе прав доступа: поймете логику разрешений rwx, научитесь создавать пользователей (useradd), работать с привилегиями sudo и su. На практике примените команды chmod и chown для изменения прав и владельцев файлов. В заключение вы научитесь настраивать сетевые параметры системы — от просмотра текущей конфигурации (ip addr) до настройки статических IP-адресов через утилиту netplan.

После прохождения этого модуля вы получите не просто набор разрозненных знаний, а целостное понимание того, как работать с Linux-сервером. Вы сможете выполнять основные административные задачи, управлять файловой системой, настраивать программное обеспечение и сеть, что станет прочным фундаментом для дальнейшего развития в IT-администрировании.

3. Файловая база 1С (Samba Server)
Мы начнем с основ работы с современными операционными системами: вы научитесь устанавливать и тонко настраивать Windows 11 для комфортной повседневной работы, а также освоите установку и конфигурацию Ubuntu for Desktops — популярного дистрибутива Linux для рабочих станций. Это даст вам понимание различий между операционными системами и подготовит к работе в гетерогенной среде.

Следующий блок посвящен созданию и администрированию сетевых ресурсов. Мы детально разберем установку и настройку Samba Server — мощного инструмента для организации общего доступа к файлам между компьютерами под управлением Windows и Linux.

Вы освоите редактирование конфигурационных файлов в редакторе nano, управление пользователями и паролями через утилиту smbpasswd, а также проверку корректности настроек с помощью testparm. Для уверенной диагностики подключений вы научитесь использовать утилиты проверки времени системы (timedatectl) и сетевой доступности (ping).

Особое внимание мы уделим управлению доступом и организации сетевого взаимодействия. Вы глубоко поймете числовой формат назначения прав доступа (chmod 777), что является фундаментальным знанием для любого администратора. На практике освоите монтирование сетевых ресурсов командами mount и umount, а также научитесь настраивать автоматическое монтирование при загрузке через редактирование файла fstab.

Завершающая часть модуля посвящена работе с бизнес-приложениями. Вы освоите полный цикл развертывания учебной версии 1С: от загрузки дистрибутива с помощью wget до установки пакета через dpkg. Мы детально разберем создание тестовой конфигурации для отработки практических навыков. В заключение вы научитесь устанавливать платформу 1С на систему Windows и подключать ранее созданную базу данных, что даст вам полное понимание процесса развертывания этого популярного бухгалтерского решения.

После прохождения этого модуля вы получите не просто теоретические знания, а практические навыки, которые сможете сразу применить в работе. Вы будете уверенно управлять данными средами Windows-Linux, настраивать сетевое взаимодействие и развертывать бизнес-приложения, что сделает вас ценным специалистом в области IT-администрирования.

4. Клиент серверная 1C (Apache PostgreSQL)
Этот модуль представляет собой профессиональное руководство по переходу от файлового хранения данных к полноценной клиент-серверной архитектуре.

Мы начнем с глубокого понимания принципов работы базы данных 1С через веб-интерфейс, что станет основой для дальнейшего изучения серверных технологий.

Вы освоите установку и настройку веб-сервера Apache — фундаментальной платформы для публикации веб-приложений. Мы детально разберем расширение файловой системы для оптимального размещения данных и научимся публиковать файловую базу 1С через Apache, обеспечивая многопользовательский доступ через браузер.

Особое внимание уделим безопасности: вы изучите методы блокировки несанкционированного доступа к файловой базе и освоите переход на промышленную СУБД PostgreSQL.

Мы пройдем полный цикл установки и настройки PostgreSQL, включая тонкую настройку параметров для работы с 1С, и создадим специализированную базу данных для платформы 1С. Вы освоите технологию X11 forwarding через SSH для удаленного графического доступа к серверу и научитесь добавлять серверную базу в кластер 1С с последующей активацией лицензий.

Практическая часть модуля включает полный цикл миграции данных: от переноса файловой базы в PostgreSQL до публикации клиент-серверной базы через Apache.

Вы получите комплексные знания о PostgreSQL: от общих сведений о архитектуре СУБД до практической работы через консольный клиент psql. Завершающий блок посвящен профессиональному администрированию: вы освоите создание резервных копий через pg_dump и восстановление данных из backup, что является критически важным навыком для любого системного администратора.

После прохождения модуля вы сможете не только развертывать отказоустойчивые серверные конфигурации 1С, но и профессионально управлять жизненным циклом баз данных — от миграции и настройки до резервного копирования и восстановления.

Эти навыки позволят вам строить надежные и производительные IT-инфраструктуры для бизнеса любого масштаба.

5. Системные утилиты
В данном модуле мы изучим основные системные утилиты, знание которых обязательно для каждого сисадмина, работающего с операционной системой Linux, причем, данные темы частенько всплывают на собеседованиях.

Мы разберем такие темы как:
- Менеджер логических томов LVM, благодаря чему, поймем более подробно как можно работать с дисковым пространством в Linux
- Разберемся с назначением директорий, располагающихся в корне, чтобы понимать, для каких целей они используются.
- Разберемся с понятиями демоны и службы, а также инструментом управления systemctl
- Рассмотрим утилиты для мониторинга за процессами в системе
- Командами для управления ими
- Мониторингом памяти и дисков
- Поработаем с лог файлами и журналом
- Архиватором tar

А так же создадим скрипт и запланируем его автоматическое выполнение через планировщик CRON

6. MikroTIK
В данном модуле мы научимся работать с сетевым оборудованием MikroTIK. Но, вам не нужно будет приобретать специально данное оборудование, все свои эксперименты мы так же будем проводить в виртуальной среде, так как у MikroTIK есть версии специально для внедрения в виртуальную среду!

Какие темы мы разберем в данном модуле?
- Разберем текущую схему сети, и которая у нас получится в результате внедрения виртуального роутера MikroTIK
- Скачаем актуальный дистрибутив RouterOS, на базе которой работает MikroTIK, соответствующую нашим требованиям
- Изучим основные разделы RouterOS и выполним базовую настройку роутера и системы безопасности
- Выполним настройку NTP Client-а для точной синхронизации времени на роутере, чтобы избежать проблем, связанных с сервисами, зависящими от корректного времени.
- Настроим Bridge и DHCP, для корректной работы локальной сети и подключенных к роутеру виртуальных машин.
- NAT для выхода локальной сети в Интернет
- VPN для доступа к изолированной сети из внешней
- Создадим правила Firewall для защиты роутера и сети от внешних атак
- Научимся работать с логами и выполнять эффективную их фильтрацию
- Активируем лицензию
- Обновим RouterOS до последней актуальной версии
- а так же выполним резервное копирование и восстановление конфигурации RouterOS

7. Сетевые утилиты
Данный модуль, посвящен сетевым утилитам, умение работать с которыми позволяет эффективно диагностировать и анализировать сетевое взаимодействие, что является ключевым навыком любого IT-специалиста.

Что же нас ждет в этом модуле?
- Начнем мы с основ и разберемся, как, используя утилиту ip, работать с сетевыми интерфейсами, смотреть таблицу маршрутизации и информацию о соседних устройствах в сети.
Затем мы перейдем к главным инструментам первой диагностики: вы узнаете, как эффективно использовать утилиту ping для проверки доступности узла и traceroute для отслеживания пути прохождения пакетов в сети.
- Познакомимся с инструментами nslookup и dig, предназначенные для работы с DNS записями.
- Изучим более комплексные утилиты, такие как mtr, которая объединяет в себе функции ping и traceroute, и рассмотрим инструменты для анализа сетевых подключений и портов: классический netstat и его современную альтернативу ss.
Вы также узнаете, как с помощью команды lsof определить, какое приложение использует файл или сетевой порт.
- Разберемся с протоколом ARP, который отвечает за преобразование IP-адресов в MAC-адреса.
- А также, рассмотрим способы безопасного копирования файлов по сети с помощью scp и эффективной синхронизации данных с помощью мощного инструмента rsync.

К концу этого модуля вы будете уверенно ориентироваться в основных сетевых утилитах и сможете самостоятельно провести первичную диагностику большинства сетевых проблем.

8. Информационная безопасность
- iptables
- nftables
- firewalld
- ufw (Uncomplicated Firewall)
- Fail2ban
- tcpdump
- ssh + secret key
- nmap
- Lynis
Продолжительность: 3 месяца.


]]> true https://many-courses.net/programmirovanie/15628-ilyas-nizamutdinov-zaprosy-v-1c-ot-novichka-do-profi.html Admin Программирование, Базы данных и SQL, Ильяс Низамутдинов Tue, 23 Jun 2026 15:52:00 +0300

Ильяс Низамутдинов - Запросы в 1C: от новичка до профи

Запросы в 1C: от новичка до профи (2026)

Слив курса Запросы в 1C: от новичка до профи [Ильяс Низамутдинов]
  • Получите опыт работы с запросами
    Откроете для себя новую ступень работы с 1С
  • Развивайте свою карьеру
    Вас начнут больше ценить на работе
  • Станьте профессионалом
    Получайте более интересные и сложные проекты
Пройдя курс, Вы:
  • Узнаете самые необходимые конструкции языка запросов 1С
  • Научитесь самостоятельно делать запросы различных уровней сложности
  • Сможете обрабатывать результаты запросов во встроенном языке программирования 1С
  • Узнаете, а также сможет применять временные, виртуальные таблицы и пакеты запросов
Программа курса:
  • Подготовка базы
  • Секция «Выбрать»
  • Работа с полями выборки
  • Условия запроса
  • Упорядочивание
  • Объединение запросов
  • Соединение таблиц в запросе
  • Группировки данных
  • Вложенные запросы
  • Выражения в языке запросов
  • Встроенные функции
  • Использование итогов
  • Получение линейной выборки из запроса
  • Получение иерархической выборки из запроса
  • Работа с временными таблицами
  • Работа с пакетными запросами
  • Расширенное применение оператора «В»
  • Работа с регистрами сведений
  • Работа с регистрами накоплений
Программа подробно: Подготовка базы
  • 28 минут теории 5 примеров
  • Создаем подсистемы
  • Создаем подсистемы
  • Создаем документы
  • Создаем регистры сведений
  • Создаем регистры накопления
  • Создаем регистры бухгалтерского учета и пр.
Секция «Выбрать»
  • 10 минут теории 5 примеров
  • Работа с консолью запросов и конструктором запросов
  • Работа с секцией выбрать
  • Директива «Различные»
  • Директива «Первые»
  • Директива «Разрешенные»
Работа с полями выборки
  • 10 минут теории 6 примеров
  • Работа с полями выборки
  • Работа с полями выборки
  • Пустые вложенные таблицы
Условия запроса
  • 25 минут теории 12 примеров
  • Условия запроса
  • Условия запроса
  • Оператор «В Иерархии»
  • Прочие операторы условий (Между, Ссылка, Подобно, Есть NULL)
Упорядочивание
  • 8 минут теории 4 примера
  • Упорядочивание
  • Упорядочивание по иерархии
  • Упорядочивание во вложенных таблицах
Объединение запросов
  • 10 минут теории 4 примера
  • Объединение запросов
  • Объединение вложенных таблиц
Соединение таблиц в запросе
  • 16 минут теории 5 примеров
  • Соединение таблиц в запросе
  • Внутреннее соединение
  • Левое внешнее соединение
  • Правое внешнее соединение
  • Полное внешнее соединение
Группировки данных
  • 19 минут теории 13 примеров
  • Группировки данных
  • Агрегатные функции
  • Оператор Имеющие
Вложенные запросы
  • 6 минут теории 2 примера
Выражения в языке запросов
  • 10 минут теории 4 примера
  • Выражения в языке запросов
  • Выражения в языке запросов
Встроенные функции
  • 30 минут теории 14 примеров
  • Общие встроенные функции
  • Встроенные функции работы с датами
  • Функция Значение
  • Приведение типа
Использование итогов
  • 10 минут теории 4 примера
  • Общие понятия
  • Итоги по иерархии
  • Общие итоги
Получение линейной выборки из запроса
  • 23 минуты теории 2 примера
  • Получение линейной выборки
  • Работа с вложенными таблицами
Получение иерархической выборки из запроса
  • 23 минуты теории 2 примера
  • Получение выборки по группам
  • Получение иерархической выборки
Работа с временными таблицами
  • 10 минут теории 4 примета
  • Создание временных таблиц
  • Использование временных таблиц
  • Передача таблиц значения в запрос
Работа с пакетными запросами
  • 19 примеров теории 4 примера
  • Общие данные
  • Работа с временными таблицами в пакете
Расширенное применение оператора «В»
  • 26 минут теории 5 примеров
  • Передача в запрос массива и списка значений
  • Применение оператора «В» с вложенными запросами
  • Применение оператора «В» с временными таблицами
  • Передача таблиц значений в запрос.
Работа с регистрами сведений
  • 13 минут теории 3 примера
  • Работа с регистрами сведений
  • Виртуальная таблица «Срез первых»
  • Виртуальная таблица «Срез последних»
Работа с регистрами накоплений
  • 33 минуты теории 6 примеров
  • Виртуальная таблица «Обороты»
  • Виртуальная таблица «Остатки»
  • Виртуальная таблица «Остатки и обороты»


]]> true https://many-courses.net/programmirovanie/15625-stepik-vlad-burmistrov-paket-kursov-data-scientist-python-sql-mashinnoe-obuchenie.html Admin Программирование, Data Science и аналитика, Базы данных и SQL, Python с нуля Tue, 23 Jun 2026 15:51:16 +0300

Stepik / Влад Бурмистров - Пакет курсов "Data Scientist": Python + SQL + Машинное обучение

Пакет курсов "Data Scientist": Python + SQL + Машинное обучение (2025)

Слив курса Пакет курсов "Data Scientist": Python + SQL + Машинное обучение [Stepik] [Влад Бурмистров]
Этот пакет из 3 курсов содержит более 70 часов качественных видео-лекций!
С домашними заданиями, решениями для домашних заданий. С возможностью скачивать материалы курса.
А также поддержкой преподавателя, если у Вас возникнут какие-либо вопросы!

В курсе по Python Вы освоите следующие темы:
Изучите базовый синтаксис и структуры данных Python 3!
Научитесь создавать блокноты Jupyter Notebook и файлы .py
Изучите продвинутые возможности Python, такие как модуль "collections" и работа с timestamp!
Научитесь использовать Объектно-Ориентированное Программирование!
Изучите сложные темы, например декораторы и генераторы.
Получите уверенное понимание основ языка Python!

Программа подробно: Обзор Курса
  1. Скачиваем материалы курса
  2. Обзор Содержания Курса
  3. Python 2 и Python 3. Пайтон или Питон?
  4. Часто Задаваемые Вопросы
  5. Полезные советы об интерфейсе Stepik (опционально)
Установка Python
  1. Замечание по эмулятору Python в Степик
  2. Основы Работы в Командной Строке
  3. Установка Python
  4. Запуск Кода Python
Объекты и Структуры Данных в Python
  1. Введение в Типы Данных Python
  2. Числа (Numbers)
  3. Числа (Numbers) - Часто Задаваемые Вопросы
  4. Проверочные Вопросы по Числам (Numbers)
  5. Присвоение Переменных
  6. Введение в Строки (Strings)
  7. Индексирование и Срезы Строк
  8. Свойства и Методы Строк
  9. Строки - Часто Задаваемые Вопросы
  10. Проверочные Вопросы по Строкам
  11. Форматирование Вывода для Строк
  12. Форматирование Вывода - Часто Задаваемые Вопросы
  13. Списки (Lists) в Python
  14. Списки - Часто Задаваемые Вопросы
  15. Проверочные Вопросы по Спискам
  16. Словари (Dictionaries) в Python
  17. Словари - Часто Задаваемые Вопросы
  18. Проверочные Вопросы по Словарям
  19. Кортежи (Tuples) в Python
  20. Проверочные Вопросы по Кортежам
  21. Множества (Sets) в Python
  22. Значения Boolean в Python
  23. Проверочные Вопросы - Множества и значения Booleans
  24. Ввод-вывод (I/O) для файлов в Python
  25. Ресурсы для Дополнительной Практики
  26. Обзор Теста по Объектам и Структурам Данных Python
  27. Решения для Теста по Объектам и Структурам Данных Python
Операторы Сравнения в Python
  1. Операторы Сравнения в Python
  2. Сцепление Операторов Сравнения с помощью Логических Операторов
  3. Проверочные Вопросы по Операторам Сравнения
Операторы Python
  1. Операторы If, Elif и Else в Python
  2. Циклы For в Python
  3. Циклы While в Python
  4. Полезные Операторы в Python
  5. Генераторы Списков (List Comprehensions) в Python
  6. Обзор Теста по Операторам Python
  7. Решения Теста по Операторам Python
  8. (Опционально) Задание - Игра на угадывание чисел
Методы и Функции
  1. Методы и Документация Python
  2. Функции в Python
  3. *args и **kwargs в Python
  4. Упражнения по Функциям
  5. Обзор Упражнений по Функциям
  6. Решения Упражнений - Уровень Разминка
  7. Решения Упражнений - Уровень 1
  8. Решения Упражнений - Уровень 2
  9. Решения Упражнений - Сложные Задачи
  10. Lambda-выражения, функции Map и Filter
  11. Вложенные Операторы и Области Видимости (Scope)
  12. Функции и Методы - Домашнее Задание
  13. Полезные Советы для Задания по Функциям и Методам
  14. Решения для Домашнего Задания по Функциям и Методам
Проект - 1
  1. Обзор Первого Проекта Python
  2. Помощь по Проекту
  3. Обзор Решения для Проекта 1 - Часть 1
  4. Обзор Решения для Проекта 1 - Часть 2
Объектно-Ориентированное Программирование (ООП)
  1. ООП: Введение
  2. ООП: Атрибуты и Ключевое слово Class
  3. ООП: Классы, Объекты, Атрибуты и Методы
  4. ООП: Наследование и Полиморфизм
  5. ООП: Специальные Методы (Magic/Dunder)
  6. ООП: Домашнее Задание
  7. ООП: Решение для Домашнего Задания
  8. ООП: Задача
  9. ООП: Решение для Задачи
Модули и Пакеты
  1. Pip Install и PyPi
  2. Модули и Пакеты
  3. __name__ и "__main__"
Ошибки и Обработка Исключений (Exceptions)
  1. Ошибки и Обработка Исключений (Exceptions)
  2. Домашнее Задание - Ошибки и Обработка Исключений
  3. Решения для Домашнего Задания - Ошибки и Обработка Исключений
  4. Обзор Pylint
  5. Запуск тестов с помощью библиотеки Unittest
Проект - 2
  1. Обзор Проекта 2
  2. Решение - классы Card и Deck
  3. Решение - классы Hand и Chip
  4. Решение - функции для Game Play
  5. Решение - Финальный скрипт Gameplay
Декораторы в Python (Decorators)
  1. Обзор Декораторов в Python
  2. Декораторы - Домашнее Задание
Генераторы Python (Generators)
  1. Генераторы в Python
  2. Обзор Домашнего Задания по Генераторам
  3. Решения для Домашнего Задания по Генераторам
Финальный Проект
  1. Финальный Проект
Резюме курса
  1. Короткий тест
  2. Финальные шаги

В курсе по SQL Вы освоите следующие темы:
Научитесь разрабатывать запросы SELECT к базам данных.
Поймёте все особенности соединений таблиц - INNER JOIN, LEFT OUTER JOIN и т.д.
Сможете избегать частых ошибок, которые делают новички
Будете уверенно использовать SQL для анализа данных
Освоите продвинутые темы, включая оконные функции.

Программа подробно: Введение. Обзор языка SQL.

  1. Обзор языка SQL
  2. Раздаточный Материал №1 (PDF-файл): Примеры Синтаксиса
  3. Скачиваем слайды презентаций (опционально)
  4. Полезные советы об интерфейсе Stepik (опционально)

Установка и настройка таблиц для упражнений
  1. Обзор раздела
  2. Шаги по установке
  3. Установка для Windows
  4. Установка для Mac
  5. Решение проблем с установкой
  6. Обзор pgAdmin

Создание таблиц. Связи между таблицами.
  1. Создание таблиц. Типы данных.
  2. Первичный ключ и внешний ключ. Типы связей между таблицами.

Основные запросы SELECT
  1. Выбор колонок. Выражения.
  2. Выбор строк. Операторы AND, OR.
  3. Проверочные Вопросы - Выбор колонок и строк
  4. Упражнение 1 - фильтрация колонок и строк
  5. Решения для Упражнения 1
  6. Операторы IN, NOT IN, BETWEEN
  7. Вложенные запросы (подзапросы)
  8. Проверочные Вопросы - Вложенные запросы (подзапросы)
  9. Упражнение 2 - вложенные запросы
  10. Решения для Упражнения 2
  11. Как пишутся комментарии в SQL

Работа со значениями NULL
  1. Что такое значение NULL. Особенности работы со значениями NULL.
  2. NULL и Сравнение "не равно"
  3. Проверочные Вопросы - Значения NULL
  4. Упражнение 3 - работа со значениями NULL
  5. Решения для Упражнения 3
  6. IN и NOT IN при наличии значений NULL

Агрегация - GROUP BY, HAVING, DISTINCT
  1. Группировка данных GROUP BY
  2. Мини-задачи по GROUP BY - задания
  3. Решения мини-задач по GROUP BY
  4. Фильтрация HAVING
  5. Агрегация SUM и COUNT
  6. Другие функции агрегации
  7. Мини-задачи по функциям агрегации
  8. Решения мини-задач по функциям агрегации
  9. Различные значения DISTINCT
  10. Сортировка данных ORDER BY
  11. Проверочные Вопросы - Агрегация данных
  12. Упражнение 4 - агрегация данных
  13. Решения для Упражнения 4

Соединение таблиц - INNER, OUTER, CROSS, SELF JOIN
  1. INNER JOIN - Внутреннее Соединение Таблиц
  2. Проверочные Вопросы - INNER JOIN
  3. Упражнение 5 - INNER JOIN
  4. Решения для Упражнения 5
  5. Соединение Нескольких Таблиц
  6. Дубликаты Строк, Нехватка Строк
  7. LEFT OUTER JOIN - Левое Внешнее Соединение
  8. Различные варианты синтаксиса
  9. RIGHT OUTER JOIN- Правое Внешнее Соединение
  10. Упражнение 6 - OUTER JOIN
  11. Решения для Упражнения 6
  12. FULL OUTER JOIN - Полное внешнее соединение
  13. SELF JOIN - Соединение таблицы самой с собой
  14. Упражнение 7 - SELF JOIN
  15. Решения для Упражнения 7
  16. CROSS JOIN - Декартово Произведение Таблиц

Операторы множеств - UNION, EXCEPT (MINUS) и INTERSECT
  1. UNION - Объединение множеств строк
  2. EXCEPT (MINUS) - Вычитание множеств строк
  3. INTERSECT - Пересечение множеств строк
  4. Проверочные Вопросы - Операторы множеств
  5. Упражнение 8 - Операторы множеств (union, except, intersect)
  6. Решения для Упражнения 8

Функции и операторы
  1. Обзор функций и операторов
  2. Для числовых типов данных
  3. LIKE для поиска шаблонов
  4. Для символьных типов данных
  5. Для типов данных даты и времени
  6. Упражнение 9 - Функции и Операторы
  7. Решения для Упражнения 9

Изменение данных - INSERT, UPDATE, DELETE
  1. INSERT - Вставка данных
  2. UPDATE - Обновление данных
  3. DELETE - Удаление данных
  4. Упражнение 10 - Изменение данных
  5. Решения для Упражнения 10
  6. Поиск расхождений между таблицами
  7. Устранение расхождений между таблицами
  8. Восстановление данных после Упражнения 10

Дополнительные темы: CASE, CTE, рекурсия
  1. CASE: два варианта синтаксиса
  2. CASE: полезные примеры
  3. Упражнение 11: CASE
  4. Решения для Упражнения 11
  5. Как можно переписать IN / NOT IN на OUTER JOIN + CASE
  6. CTE - Common Table Expression (WITH ...)
  7. Рекурсивные Запросы

Оконные функции
  1. Оконные функции - первое знакомство
  2. Добавляем PARTITION BY
  3. Упражнение 12: вычисляем проценты
  4. Решения для упражнения 12
  5. Кумулятивные суммы
  6. Особенности ORDER BY для оконных функций - часть 1
  7. Особенности ORDER BY для оконных функций - часть 2
  8. Упражнение 13: ABC-анализ
  9. Решения для упражнения 13
  10. Скользящие средние, предыдущие строки и последующие строки
  11. Упражнение 14: солнечные дни
  12. Решения для упражнения 14
  13. Нумерация и ранжирование
  14. Упражнение 15: нумерация и ранжирование
  15. Решения для упражнения 15
  16. Резюме по оконным функциям

Резюме курса
  1. Резюме курса
  2. Финальные шаги

В курсе по Машинному Обучению Вы освоите следующие темы:
Построение моделей машинного обучения с учителем (Supervised Learning)
Применение NumPy для работы с числами в Python
Использование Seaborn для создания красивых графиков визуализации данных
Применение Pandas для манипуляции с данными в Python
Элементы Matplotlib для детальной настройки визуализаций данных в Python
Конструирование признаков (Feature Engineering) на реалистичных примерах
Алгоритмы регрессии для предсказания непрерывных переменных
Навыки подготовки данных к машинному обучению
Алгоритмы классификации для предсказания категориальных переменных
Создание портфолио проектов машинного обучения и Data Science
Работа с Scikit-Learn для применения различных алгоритмов машинного обучения
Быстрая настройка Anaconda для работ по машинному обучению
Понимание полного цикла этапов работ по машинному обучению

Программа подробно: Вводная часть курса

  1. Добро пожаловать на курс!
  2. Материалы курса - ZIP-файлы для скачивания
  3. Установка Anaconda, Python, Jupyter Notebook
  4. Прочтите эту статью - Замечание о настройке среды разработки
  5. Настройка среды разработки
  6. Часто задаваемые вопросы
  7. Полезные советы об интерфейсе Stepik (опционально)

Опционально: Экспресс-курс по Python
  1. Пару слов об экспресс-курсе
  2. Экспресс-курс по Python - Часть 1
  3. Экспресс-курс по Python - Часть 2
  4. Экспресс-курс по Python - Часть 3
  5. Проверочные упражнения по Python
  6. Решения для проверочных упражнений по Python

Этапы работ по машинному обучению
  1. Этапы работ по машинному обучению

NumPy
  1. Обзор раздела про NumPy
  2. Массивы NumPy
  3. Индексация и выбор данных из массивов NumPy
  4. Операции в NumPy
  5. Проверочные упражнения по NumPy
  6. Решения для проверочных упражнений по NumPy

Pandas
  1. Обзор раздела про Pandas
  2. Series - Часть 1
  3. Series - Часть 2
  4. Датафреймы - Часть 1 - Создание датафреймов
  5. Датафреймы - Часть 2 - Основные атрибуты
  6. Датафреймы - Часть 3 - Работа с колонками
  7. Датафреймы - Часть 4 - Работа со строками
  8. Выборка данных по условию (Conditional Filtering)
  9. Полезные методы - Apply для одной колонки
  10. Полезные методы - Apply для нескольких колонок
  11. Полезные методы - Статистическая информация и сортировка данных
  12. Отсутствующие данные (missing data) - Обзор
  13. Отсутствующие данные (missing data) - Операции в Pandas
  14. Агрегация данных GROUP BY - Часть 1
  15. Агрегация данных GROUP BY - Часть 2 - Мульти-индекс
  16. Объединение датафреймов - Конкатенация
  17. Объединение датафреймов - Inner Merge
  18. Объединение датафреймов - Left и Right Merge
  19. Объединение датафреймов - Outer Merge
  20. Методы Pandas для текста
  21. Методы Pandas для даты и времени
  22. Input/Output в Pandas - CSV-файлы
  23. Input/Output в Pandas - HTML-таблицы
  24. Input/Output в Pandas - Excel-файлы
  25. Input/Output в Pandas - SQL базы данных
  26. Сводные таблицы в Pandas (pivot tables)
  27. Проверочные упражнения по Pandas
  28. Решения для проверочных упражнений по Pandas

Matplotlib
  1. Обзор раздела про Matplotlib
  2. Основы Matplotlib
  3. Объект Figure - принципы работы
  4. Объект Figure - код в Python
  5. Объект Figure - код в Python
  6. Subplots - несколько графиков рядом друг с другом
  7. Стилизация Matplotlib: легенды
  8. Стилизация Matplotlib: цвета и стили
  9. Дополнительные материалы по Matplotlib
  10. Проверочные упражнения по Matplotlib
  11. Решения для проверочных упражнений по Matplotlib

Seaborn
  1. Обзор раздела про Seaborn
  2. Scatterplots - Графики рассеяния (диаграммы рассеяния)
  3. Distribution Plots - Часть 1 - Типы графиков
  4. Distribution Plots - Часть 2 - Код в Python
  5. Categorical Plots - Статистики по категориям - Типы графиков
  6. Categorical Plots - Статистики по категориям - Код в Python
  7. Categorical Plots - Распределения по категориям - Типы графиков
  8. Categorical Plots - Распределения по категориям - Код в Python
  9. Графики сравнения - Типы графиков
  10. Графики сравнения - Код в Python
  11. Seaborn Grid
  12. Матричные графики
  13. Проверочные упражнения по Seaborn
  14. Решения для проверочных упражнений по Seaborn

Большой Проект по Визуализации Данных
  1. Обзор Проекта по Визуализации Данных
  2. Разбор решений проекта - Часть 1
  3. Разбор решений проекта - Часть 2
  4. Разбор решений проекта - Часть 3

Обзор Машинного Обучения
  1. Обзор раздела
  2. Зачем нужно машинное обучение
  3. Типы алгоритмов машинного обучения
  4. Процесс для обучения с учителем (supervised learning)
  5. (ОПЦИОНАЛЬНО) Дополнительная книга для чтения - ISLR

Линейная Регрессия
  1. Обзор раздела про линейную регрессию
  2. Линейная регрессия - История алгоритма
  3. Наименьшие квадраты
  4. Функция стоимости (Cost Function)
  5. Градиентный спуск (Gradient Descent)
  6. Простая линейная регрессия
  7. Обзор Scikit-Learn
  8. Scikit-Learn - Train Test Split
  9. Scikit-Learn - оценка работы модели
  10. Графики остатков - Residual Plots
  11. Внедрение модели и интерпретация коэффициентов
  12. Полиномиальная регрессия - теория
  13. Полиномиальная регрессия - создание признаков
  14. Полиномиальная регрессия - обучение и оценка модели
  15. Дилемма смещения-дисперсии (Bias-Variance Trade-Off)
  16. Полиномиальная регрессия - выбираем степень полинома
  17. Полиномиальная регрессия - внедрение модели
  18. Регуляризация - обзор
  19. Масштабирование признаков (feature scaling)
  20. Кросс-валидация - обзор
  21. Регуляризация - подготовка данных
  22. L2 Регуляризация - Ридж-регрессия - теория
  23. L2 Регуляризация - Ридж-регрессия - код в Python
  24. L1 Регуляризация - Лассо-регрессия - теория и код в Python
  25. L1 и L2 Регуляризация - Эластичная сеть Elastic Net
  26. Обзор данных для проверочного проекта по линейной регрессии

Конструирование признаков (Feature Engineering) и подготовка дан
  1. Обзор Feature Engineering
  2. Работа с выбросами (outliers)
  3. Работа с отсутствующими данными (missing data) - Часть 1
  4. Работа с отсутствующими данными (missing data) - Часть 2
  5. Работа с отсутствующими данными (missing data) - Часть 3
  6. Работа с категориальными переменными

Кросс-валидация и Проверочный проект по линейной регрессии
  1. Обзор раздела про кросс-валидацию
  2. Разбиение Train | Test Split
  3. Разбиение Train | Validation | Test Split
  4. Кросс-валидация - cross_val_score
  5. Кросс-валидация - cross_validate
  6. Поиск по сетке - Grid Search
  7. Случайный поиск - Random Search
  8. Обзор проверочного проекта по линейной регрессии
  9. Решения для проверочного проекта по линейной регрессии

Логистическая регрессия
  1. Обзор раздела про логистическую регрессию
  2. Теория логистической регрессии - Часть 1 - Логистическая функция
  3. Теория логистической регрессии - Часть 2 - От линейной к логист.
  4. Теория логистической регрессии - Часть 3 - Математика перехода
  5. Теория логистической регрессии - Часть 4 - Поиск графика
  6. Логистическая регрессия в Scikit-Learn - Часть 1 - EDA
  7. Логистическая регрессия в Scikit-Learn - Часть 2 - Модель
  8. Метрики классификации - Confusion Matrix и Accuracy
  9. Метрики классификации - Precision, Recall и F1-Score
  10. Метрики классификации - ROC-кривые
  11. Логистическая регрессия в Scikit-Learn - Часть 3 - Оценка модели
  12. Мульти-классовая классификация - Логистическая регрессия - EDA
  13. Мульти-классовая классификация - Логистическая регрессия -Модель
  14. Проверочный проект по логистической регрессии
  15. Решения для проверочного проекта по логистической регрессии

Метод К-ближайших соседей (KNN - K-Nearest Neighbors)
  1. Обзор раздела про метод К-ближайших соседей
  2. Теория метода К-ближайших соседей
  3. KNN: пишем код в Python - Часть 1
  4. KNN: пишем код в Python - Часть 2
  5. Проверочные упражнения по KNN
  6. Решения для проверочных упражнений по KNN

Метод опорных векторов (SVM - Support Vector Machines)
  1. Обзор раздела про метод опорных векторов
  2. История метода опорных векторов
  3. Теория метода опорных векторов - Гиперплоскости и зазоры
  4. Теория метода опорных векторов - ядра (kernels)
  5. Теория метода опорных векторов - "kernel trick" и математика
  6. SVM в Scikit-Learn для задач классификации - Часть 1
  7. SVM в Scikit-Learn для задач классификации - Часть 2
  8. SVM в Scikit-Learn для задач регрессии
  9. Проверочные упражнения по методу опорных векторов
  10. Решения для проверочных упражнений по методу опорных векторов

Деревья решений - Decision Trees
  1. Обзор раздела про деревья решений
  2. Деревья решений - История
  3. Деревья решений - Терминология
  4. Деревья решений - метрика "Gini Impurity"
  5. Построение деревьев решений с помощью Gini Impurity - Часть 1
  6. Построение деревьев решений с помощью Gini Impurity - Часть 2
  7. Код в Python для деревьев решений - Часть 1 - Данные
  8. Код в Python для деревьев решений - Часть 2 - Модель

Случайные леса - Random Forests
  1. Обзор раздела про случайные леса
  2. История и мотивация создания случайных лесов
  3. Гиперпараметры случайного леса - Обзор
  4. Гиперпараметры случайного леса - Количество деревьев и Признаков
  5. Гиперпараметры случайного леса - Bootstrapping и oob_score
  6. Классификация данных с помощью RandomForestClassifier - Часть 1
  7. Классификация данных с помощью RandomForestClassifier - Часть 2
  8. Регрессия с помощью RandomForestRegressor - Часть 1 - Данные
  9. Регрессия с помощью RandomForestRegressor - Часть 2 - Модели 1
  10. Регрессия с помощью RandomForestRegressor - Часть 3 - Модели 2
  11. Регрессия с помощью RandomForestRegressor - Часть 4 - Модели 3

Бустинг и Расширяемые деревья - Boosted Trees
  1. Обзор раздела про бустинг
  2. История возникновения бустинга
  3. AdaBoost - Теория - Как работает адаптивный бустинг
  4. AdaBoost - Код в Python - Данные
  5. AdaBoost - Код в Python - Модель
  6. Градиентный бустинг - Теория
  7. Градиентный бустинг - Пишем код в Python

Проверочный проект по моделям обучения с учителем (Supervised Le
  1. Обзор проверочного проекта
  2. Разбор решений - Часть 1 - Исследование данных (EDA)
  3. Разбор решений - Часть 2 - Анализ оттока (Churn Analysis)
  4. Разбор решений - Часть 3 - Модели на основе деревьев решений

Natural Language Processing и Наивный Байесовский Классификатор
  1. Обзор раздела про NLP и Наивный Байесовский алгоритм
  2. Наивный Байесовский алгоритм - Часть 1 - Теорема Байеса
  3. Наивный Байесовский алгоритм - Часть 2 - сам алгоритм
  4. Извлечение признаков из текста - Теория
  5. Извлечение признаков из текста, "Мешок слов" - пишем код вручную
  6. Извлечение признаков из текста с помощью Scikit-Learn
  7. Классификация текста - Часть 1
  8. Классификация текста - Часть 2
  9. Проверочные упражнения по классификации текста
  10. Решения для проверочных упражнений по классификации текста

Машинное обучение без учителя - Unsupervised Learning
  1. Обзор обучения без учителя - Unsupervised Learning

Кластеризация К-Средних - K-Means Clustering
  1. Обзор раздела про кластеризацию К-средних
  2. Принципы кластеризации данных (без привязки к алгоритму)
  3. Теория кластеризации К-средних
  4. Кластеризация К-средних - Пишем код - Часть 1
  5. Кластеризация К-средних - Пишем код - Часть 2
  6. Выбираем количество кластеров К - Теория
  7. Выбираем количество кластеров К - Пишем код в Python
  8. Квантование цветов - Теория
  9. Квантование цветов - Пишем код в Python
  10. Проверочные упражнения по кластеризации К-средних
  11. Решения для проверочных упражнений - Часть 1
  12. Решения для проверочных упражнений - Часть 2
  13. Решения для проверочных упражнений - Часть 3

Иерархическая кластеризация данных
  1. Обзор раздела про иерархическую кластеризацию
  2. Теория и интуиция иерархической кластеризации
  3. Иерархическая кластеризация - Пишем код, часть 1 - Данные
  4. Иерархическая кластеризация - Пишем код, часть 2 - Scikit-Learn

DBSCAN - Кластеризация на основе плотности данных
  1. Обзор раздела про кластеризацию DBSCAN
  2. Теория алгоритма DBSCAN
  3. Сравниваем DBSCAN и K-Means Clustering
  4. Ключевые гиперпараметры DBSCAN - Теория
  5. Ключевые гиперпараметры DBSCAN - код в Python
  6. Проверочные упражнения по DBSCAN
  7. Решения для проверочных упражнений по DBSCAN

Метод главных компонент (PCA - Principal Component Analysis)
  1. Обзор раздела про метод главных компонент
  2. Теория метода главных компонент - Часть 1 - История и интуиция
  3. Теория метода главных компонент - Часть 2 - Математика
  4. Реализация метода главных компонент вручную
  5. Метод главных компонент в Scikit-Learn
  6. Проверочные упражнения по методу главных компонент
  7. Решения для проверочных упражнений по методу главных компонент

Резюме курса
  1. Пройдите короткий тест
  2. Резюме курса
  3. Финальные шаги

В программу входят:
  • 3 курса
  • 428 уроков
  • 71 час 32 минуты видео
  • 42 теста
Этот пакет курсов заменит Вам целый набор других курсов, которые могут стоить существенно дороже!


]]> true https://many-courses.net/business/14410-dashbordy-na-ii-aleksey-kolokolov-anna-zykina-steroidah-tarif-standart.html Admin Бизнес, менеджмент, продажи, Программирование, Нейросети, ChatGPT и Midjourney, Создание ботов и автоматизация, Data Science и аналитика, Базы данных и SQL, Алексей Колоколов, Анна Зыкина Mon, 04 May 2026 13:55:51 +0300

Дашборды на ИИ / Алексей Колоколов, Анна Зыкина - стероидах. Тариф Стандарт

Дашборды на ИИ-стероидах. Тариф Стандарт (2026)

Слив курса Дашборды на ИИ-стероидах [Тариф Стандарт] [Алексей Колоколов, Анна Зыкина]
  • Быстрые дашборды в Claude, DeepSeek и ChatGPT
  • Локальная аналитическая система
  • Базы данных и вайбкодинг Cursor
без Excel / без программирования / без галлюцинаций

Наша методология:
Мы даём вам не просто инструменты, а целую экосистему для создания дашбордов без программирования
  1. AI-ассистенты
    Claude, ChatGPT, DeepSeek для генерации кода и анализа
  2. Cursor IDE
    Вайбкодинг с AI-автодополнением и рефакторингом
  3. Локальные базы
    Безопасное хранение и обработка данных
  4. Готовый дашборд
    Интерактивная визуализация за часы
Программа курса:
  • Фундамент дашборда
    Настройка рабочей среды
    Терминология, базовые принципы визуализации данных
    Мастер-промпт для композиции дашборда
    Типовые галлюцинации, и как их исправить
    Кейс «Строительные проекты»
  • Расчеты и KPI
    Подготовка и очистка данных, создание сводного массива
    Расчетные метрики и проверка вычислений
    Карточки ключевых показателей
    Подбор индикаторов отклонений
    Кейс «Анализ рекламы»
  • Продвинутый визуал
    Интерактивные фильтры и срезы
    Кросс-фильтрация как в Power BI
    Переключатели показателей, анализ «Что-если»
    Нестандартные диаграммы, стилизация дашборда
    Кейс «Розничные продажи»
  • Дата-сторителлинг
    Как убедиться, что дашборд помогает принять решения
    Как правильно презентовать интерактивные сценарии
    Методы сторителлинга для аналитики
    Подготовка пояснительной записки с инсайтами
    Кейс «Годовой отчет акционерам»
  • База данных с Cursor
    Варианты архитектуры, основные принципы проектирования баз данных
    ИИ в роли «кодера»: как ставить ему задачу и контролировать результат
    Потоковая загрузка файлов и распознавание документов
    Настройка обновления данных, проверочные отчеты
    Кейс «Сбор данных от поставщиков»
  • Веб-интерфейс
    Клиент-серверная архитектура, ключевые понятия и инструменты
    Настройка хостинга и публикация через Terminus
    Генерация дашбордов через Cursor, подключение к базе, работа с API
    Веб-формы для сбора дополнительных данных
    Кейс «Дашборды отдела продаж»
  • Безопасность
    Как обеспечить конфиденциальность, методы обезличивания данных
    Типичные ошибки, «дыры» для утечки информации. Аудит безопасности
    Настройка авторизации, админ-панели с контролем доступа
    Кейс «Анализ зарплат сотрудников»
  • Финальный проект
    Сборка итогового проекта, структура репозитория, интеграционное тестирование
    Культура сопровождения проекта, разработка документации
    Версионирование, работа с GitHub,
    экспорт и перенос проекта
    Кейс «Аналитический портал фабрики»
Тариф Стандарт.


]]> true https://many-courses.net/programmirovanie/14402-simulative-simulyator-inzhener-dannyh.html Admin Программирование, Data Science и аналитика, Базы данных и SQL Mon, 04 May 2026 13:55:35 +0300

Simulative - Симулятор «Инженер данных»

Что такое курс-симулятор:
  • Обучение на бизнес-кейсах
    Не обучаем на «апельсинах» — после курса-симулятора вы на 100% сразу же готовы решать рабочие задачи или внедрять знания на текущем месте работы

  • Полная подготовка к собеседованиям
    Будете решать тестовые задания от реальных компаний и проходить тестовые собеседования еще в процессе обучения
  • Уникальное портфолио
    Такого портфолио не будет ни у кого больше. Вы соберёте его из реальных задач из разных сфер бизнеса
Чем занимается инженер данных
Представьте, что у вас есть большая коробка с LEGO, из которой нужно выбрать детали для постройки замка или космического корабля.
Дата-инженеры обеспечивают доступность и качество данных, что особенно важно для принятия решений в бизнесе.
Вам нужно сначала выбрать нужные детали, затем правильно их соединить и в конце собрать всё вместе.
Этим и занимается инженер данных.

Кому подойдёт курс-симулятор:
  • Новичкам в профессии
    Освоите основы инженерии данных для уверенного старта карьеры

  • Начинающим инженерам данных
    Структурируйте свои знания, освоите весь необходимый стек на практике и уверенно войдите в профессию уже на 5 месяце обучения
  • Аналитикам данных
    Изучите методы обработки и трансформации данных, что поможет лучше понимать архитектуру данных и улучшить качество аналитических отчетов

  • Разработчикам
    Сможете освоить специфические задачи инженера данных, такие как работа с ETL-процессами и реализовать проекты в этой области
Какие задачи сможете решать после обучения:
  • Создавать и работать с хранилищами данных
  • Разрабатывать автоматизированные ETL-пайплайны
  • Оптимизировать сложные SQL-запросы
  • Работать с большими данными и озерами данных (data lake)
  • Пользоваться и управлять DE-инфраструктурой: Linux, Docker, DWH и др.
Какие инструменты освоите:
  • Базы данных
    PostgreSQL, DBeaver, Clickhouse

  • Программирование
    Python, Pandas, Numpy, Matplotlib, Seaborn, Plotly, gspread, VS Code, Google Colab, Jupyter Notebook
  • Визуализация данных
    Metabase

  • Автоматизация и деплой
    Linux, Docker, bash, Airflow
Программа

1. Введение в профессию

2. SQL и базы данных
17 уроков
Дата инженерам необходимо уметь работать с реляционными базами данных, потому что основной объем информации, которую обрабатывают дата инженеры, хранится как раз в них - например, в PostgreSQL.
  • Вы научитесь писать сложные запросы, решая аналитические кейсы из ритейла, финтеха и онлайн-платформ с помощью SQL.
  • Вы научитесь проектировать реляционные базы данных с учетом правил нормализации и разворачивать их на сервере с нуля.
  • Вы научитесь администрировать базы данных: удалять и вносить изменения в объекты БД, наполнять базу новыми данными или удалять старые.
  • Вы научитесь работать с базами данных разными способами - от специальных IDE до подключения через терминал.
3. Визуализация в Metabase
10 уроков
Уметь работать в системе визуализации данных - полезный навык для дата инженера, чтобы создавать дашборды. Например, дашборд с мониторингом работы скриптов сбора данных из корпоративной CRM-системы.
  • Вы научитесь быстро визуализировать результат SQL-запросов.
  • Вы научитесь строить графики без написания кода с помощью визуального конструктора.
  • Вы научитесь собирать дашборды с сложными фильтрами.
  • Вы научитесь разворачивать и базово администрировать Metabase на сервере.
4. Git/GitHub
11 уроков
Дата инженерам важно уметь работать с системой контроля версий Git, потому что работа над одним проектом всегда происходит в больших командах, где Git - обязательный инструмент совместной разработки.
  • Вы научитесь внедрять в свои проекты Git с учетом лучших практик.
  • Вы научитесь синхронизировать локальный и удаленный репозиторий.
  • Вы научитесь грамотно контрибьютить в проекты коллег, работать с pull request-ами и обрабатывать реквесты ваших коллег.
  • Вы научитесь разрешать конфликты, если при совместной работе с коллегами вами был затронут один и тот же блок кода.
  • Вы научитесь откатывать изменения в случае «кривых» релизов.
5. Python
20 уроков
Программирование на Python - один из ключевых навыков дата инженера, т.к. именно с помощью этого языка вы будете писать скрипты для сбора данных из разных источников и создавать ETL/ELT-пайплайны.
  • Вы научитесь писать код на Python и использовать его для решения прикладных задач: написание скриптов для сбора данных, написание коннекторов к различным базам данных, написание скриптов для сбора данных по API, написание скриптов для обработки и очистки данных для последующей загрузки в хранилище.
  • Вы научитесь работать в разных IDE: VS Code и Google Colab.
6. Объектно-ориентированное программирование в Python (ООП в Python)
7 уроков
Писать код на Python, используя парадигму объектно-ориентированного программирования - также важная часть навыков дата инженера. Читая чужой код, вы будете часто встречаться с ООП, а также многие дата инженерные скрипты предполагают работу с классами.
  • Вы глубоко разберетесь в концепции объектно-ориентированного программирования и особенностях ее реализации в Python.
  • Вы научитесь писать код с использованием классов, методов, атрибутов и контроля доступа.
  • Вы разберетесь в продвинутых концепциях ООП - геттерах, сеттерах, специальных декораторах и т.д.
  • Вы изучите полезные паттерны проектирования.
  • Вы научитесь применять ООП для решения прикладных задач - создания класса-коннектора для разных СУБД по шаблону Singleton, написание ETL-пайплайна с использованием ООП.
7. Python для анализа данных
25 уроков
Работать с библиотеками для обработки данных в Python - полезный навык для дата инженера.
В работе часто возникают данные, представленные в табличном формате, и намного удобней и эффективней решать задачи очистки, трансформации, вычислений и прочего с помощью специализированных библиотек - например, Pandas.
  • Вы научитесь работать с библиотекой Numpy для работы с многомерными массивами данных.
  • Вы научитесь работать с фреймворком Pandas и решать с его помощью прикладные задачи - анализировать активность пользователей, обрабатывать файловые выгрузки и т.д.
  • Дополнительно вы научитесь строить базовые визуализации в Python с помощью Matplotlib, Seaborn и Plotly, что может быть полезно при исследовании новых наборов данных во время работы.
8. Linux
14 уроков
Дата инженерам необходимо уметь работать с Linux, потому что вся аналитическая инфраструктура разворачивается на облачных Linux-серверах.
  • Вы научитесь работать с операционной системой Linux с нуля до уровня продвинутого пользователя.
  • Вы научитесь настраивать и администрировать серверы через командную строку (настройка пользователей, прав доступа, работа с ресурсами).
  • Вы научитесь решать прикладные задачи с помощью bash-скриптинга (например, обходить директории и обрабатывать файлы с логами для последующего анализа).
  • Вы научитесь работать с базой данных через консоль. Научитесь автоматизировать скрипты с помощью cron и systemd.
9. Docker
8 уроков
Инструмент контейнеризации Docker - важный навык для дата инженера, потому что практически вся аналитическая инфраструктура разворачивается с помощью Docker-контейнеров.
  • Вы научитесь устанавливать Docker на разные операционные системы и решать типовые проблемы, связанные с его работой.
  • Вы научитесь разворачивать аналитическую инфраструктуру (Python, PostgreSQL, Nginx) на сервере с помощью Docker.
  • Вы научитесь работать с внутренностями контейнеров и администрировать взаимодействие между изолированными контейнерами.
10. Airflow
16 уроков
Airflow - это инструмент автоматизации и оркестрации скриптов, и он используется практически любым дата инженером во время работы.
  • Вы научитесь разворачивать и администрировать Airflow.
  • Вы научитесь писать dag-и для автоматизации скриптов.
  • Вы научитесь создавать ETL/ELT-пайплайны и сделаете несколько реальных проектов - например, автоматизацию обработки данных об активности студентов крупного онлайн-университета.
11. Продвинутый SQL для работы с большими данными
7 уроков
При работе с большими данными дата инженеру недостаточно знать SQL - нужно владеть специфическими навыками.
  • Вы научитесь создавать функции и процедуры - например, для переливки данных между таблицами или для заполнения витрин.
  • Вы научитесь работать с анонимными блоками и переменными - это позволит вам решать сложные задачи, как на полноценном языке программирования. Например, вычислять характеристики товаров, а потом работать с ними в других запросах.
  • Вы научитесь работать с триггерами - это позволит вам настраивать выполнение определенных действий в зависимости от некоторых условий: например, делать дамп таблицы при попытке ее очистки.
  • Вы научитесь читать план запроса и оптимизировать тяжелые неэффективные SQL-запросы - такая задача постоянно возникает в работе и ее часто дают на собеседованиях.
12. Хранилища данных (DWH) - Clickhouse
8 уроков
В компаниях с развитой аналитической культурой данные собираются в специальные хранилища - Data Warehouse (DWH). И работа с DWH - одна из ключевых задач дата инженера.
На примере DWH Clickhouse вы разберетесь в архитектурных и идейных отличиях - чем нам не устраивали обычные базы данных и зачем нам нужны хранилища.
  • Вы научитесь работать с Clickhouse для решения аналитических задач и поймете его преимущества относительно PostgreSQL.
  • Вы научитесь писать сложный SQL-запросы в Clickhouse на примере прикладных задач: прогнозирование временных рядов, формирование рекомендаций для абонентов телеком-сервиса и т.д.
13. Hadoop и озера данных (Data lake)
5 уроков
Работа с большим объемом слабоструктурированных данных - сложная дата инженерная задача. Для хранения таких данных используются озера данных Data Lake и чаще всего - Hadoop.
  • Вы научитесь работать с логами данных, открытыми датасетами для машинного обучения, хранить и обрабатывать их в Hadoop с помощью bash и Python, интегрировать с реляционными DWH.
  • Вы сможете поднять Hadoop Sandbox прям на своем компьютере с помощью Docker Compose.
  • Вы научитесь быстро решать adhoc-задачи - например, считать число 404-ошибок в логах вебсервера.
  • Научитесь решать прикладные задачи с помощью MapReduce - например, обрабатывать и анализировать большие объемы текстовой информации: логи, документацию и проч.
  • Дополнительно познакомитесь с YARN и, Hive , Pig и HBase и научитесь применять их для решения сложных дата инженерных задач.
14. Spark / pySpark
5 уроков
Spark - удобный инструмент для работы с big data, который позволяет дата инженерам решать сложные аналитические задачи с огромными объемами информации, когда классического кода на Python уже не хватает.
Вы освоите pySpark, функциональное программирование, RDD, Spark UDF и другие специализированные темы, параллельно отрабатывая их на реальных кейсах.
Например, вы будете анализировать активность пользователей на онлайн-платформе, вычисляя метрики по типу среднее время выполнения одного задания. Или вам предстоит работать со стримингом новостей, анализируя вхождение определенных ключевых слов и оценивая новостную повестку в режиме реального времени.
Преподаватели:
Андрон Алексанян, Елизавета Бережная, Антонина Гераськова, Илья Трофимов, Дмитрий Астанков, Даниил Дудов, Евгений Кахновский, Давид Хоперья, Кира Масалова, Илья Томберг, Денис Тихомиров, Иван Котов

Тариф Базовый
  • Доступ к материалам и обновлениям
  • Поддержка преподавателей в тематических чатах во время обучения и в течение месяца после окончания
  • Проверка проектов преподавателями во время обучения и в течение месяца после окончания
  • Zoom-встреча с ментором потока перед стартом обучения, ежемесячные онлайн-встречи с ментором потока и регулярные QA-сессии с ментором потока с разбором вопросов студентов
ИСТОЧНИК

СКАЧАТЬ
 ]]> true https://many-courses.net/programmirovanie/13953-otus-ms-sql-server-razrabotchik-v1.html Admin Программирование, Софт, программы, скрипты, Базы данных и каталоги, Базы данных и SQL, OTUS Mon, 13 Apr 2026 13:34:46 +0300

OTUS - MS SQL Server разработчик v1

Что даст вам этот курс

Во время курса будем подробно разбирать язык запросов и внутренние процессы СУБД, происходящие на всех этапах работы с запросом. Курс позволит понять детали процессов и получить чёткое представление, что делает тот или иной код, где могут возникнуть потенциальные проблемы, как их можно разрешить.

Подробно рассмотрим оптимизацию кода, как нужно писать, если у вас миллиарды данных, расскажем о популярных граблях, чтобы вы смогли их обойти.

Этот курс предназначен для:
— разработчиков с опытом работы с базами на уровне «делал и использовал, но как внутри работает не знаю» (например, через ORM);
— разработчиков с небольшим опытом работы с базами данных и желанием продвинуться дальше.

После обучения вы сможете:
— разрабатывать на SQL;
— проектировать БД и понимать все нюансы;
— анализировать и оптимизировать производительности запросов;
— писать сложные хранимые процедуры, функции и триггеры;
— читать план запроса.

Выпускной проект — создание и оптимизация собственной базы данных (для своей компании/стартапа). Преподаватель поможет с выбором темы и подскажет, как уменьшить scope работ, а у вас появится возможность получить обратную связь и отработать полученные знания на реальном материале.

Этот курс вам подойдёт, если вы:
— работали с БД и знаете, как они выглядят
— писали или читали простые запросы
— знаете типы данных и основные операторы на базовом уровне
— или являетесь выпускником курса «Реляционные СУБД»

После обучения вы
Сможете наконец сделать так, чтобы в базе всё считалось и не падало:
— перепишете свои запросы так, чтобы они работали в 5 раз быстрее
— удалите ненужные индексы и добавите нужные
— научитесь применять изменения к базе без простоя

Продажник

Скачать
]]> true https://many-courses.net/programmirovanie/13952-kristina-kucherova-otus-ms-sql-server-razrabotchik-vse-3-modulya.html Admin Программирование, Софт, программы, скрипты, Базы данных и каталоги, Базы данных и SQL Mon, 13 Apr 2026 13:34:44 +0300

Кристина Кучерова / OTUS - MS SQL Server разработчик (Все 3 модуля)

Что даст вам этот курс

Во время курса будем подробно разбирать язык запросов и внутренние процессы СУБД, происходящие на всех этапах работы с запросом. Курс позволит понять детали процессов и получить чёткое представление, что делает тот или иной код, где могут возникнуть потенциальные проблемы, как их можно разрешить.
Подробно рассмотрим оптимизацию кода, как нужно писать, если у вас миллиарды данных, расскажем о популярных граблях, чтобы вы смогли их обойти.

Этот курс предназначен для:
— разработчиков с опытом работы с базами на уровне «делал и использовал, но как внутри работает не знаю» (например, через ORM);
— разработчиков с небольшим опытом работы с базами данных и желанием продвинуться дальше.

После обучения вы сможете:
— разрабатывать на SQL;
— проектировать БД и понимать все нюансы;
— анализировать и оптимизировать производительности запросов;
— писать сложные хранимые процедуры, функции и триггеры;
— читать план запроса.

Выпускной проект — создание и оптимизация собственной базы данных (для своей компании/стартапа). Преподаватель поможет с выбором темы и подскажет, как уменьшить scope работ, а у вас появится возможность получить обратную связь и отработать полученные знания на реальном материале.

Этот курс вам подойдёт, если вы:
— работали с БД и знаете, как они выглядят
— писали или читали простые запросы
— знаете типы данных и основные операторы на базовом уровне
— или являетесь выпускником курса «Реляционные СУБД»

После обучения вы Сможете наконец сделать так, чтобы в базе всё считалось и не падало:
— перепишете свои запросы так, чтобы они работали в 5 раз быстрее
— удалите ненужные индексы и добавите нужные
— научитесь применять изменения к базе без простоя


СКАЧАТЬ
]]> true https://many-courses.net/programmirovanie/13939-stepik-future-people-python-dlya-excel-s-bibliotekoy-openpyxl.html Admin Программирование, Базы данных и SQL, Python с нуля, Stepik Mon, 13 Apr 2026 13:33:35 +0300

Stepik - Future People → Python для Excel с библиотекой openpyxl

Чему вы научитесь
  • Автоматизировать создание книг Excel с нужными данными.
  • Применять основные функции openpyxl для работы с книгами и листами Excel, увеличивая эффективность и точность обработки данных.
  • Разрабатывать продвинутые решения для управления данными, включая сложное форматирование, чтобы максимально использовать потенциал Python и Excel.
  • Строить и настраивать разнообразные типы диаграмм и таблиц для наглядной визуализации данных, улучшая представление информации и делая анализ более интуитивно понятным.
  • Защищать чувствительную информацию в Excel через реализацию мер безопасности, таких как защита ячеек, листов и книг.
  • Интегрировать знания openpyxl в реальные проекты и задачи, практически применяя полученные умения в создании автоматизированных и оптимизированных рабочих процессов.
  • Развивать критическое мышление, находя разные подходы к решению задач автоматизации в Excel.
На курсе Вы изучите
  • Основы openpyxl: Начнёте с установки openpyxl и настройки VS Code для максимального комфорта работы.
  • Работа с листами и книгами: Узнаете, как создавать, копировать и управлять листами и книгами в Excel.
  • Мастерство работы с ячейками: От заполнения ячеек до работы с генераторами, научитесь манипулировать данными в Excel с легкостью.
  • Продвинутые операции: Углубите знания в таких операциях, как копирование строк, вставка колонок и удаление данных.
  • Визуализация данных: Научитесь создавать привлекательные таблицы с фильтрами, гистограммы и другие виды диаграмм для наглядного представления информации.
  • Условное форматирование: Исследуйте различные виды условного форматирования для выделения важной информации.
  • Защита данных: Научитесь защищать ваши данные в Excel, устанавливая защиту для ячеек, листов и всей книги.
  • Стилизация и форматирование: Освойте техники стилизации ячеек, работу с объединенными ячейками и многое другое.
Для кого этот курс
  • Этот курс как для новичков, так и для тех, кто желает расширить свои навыки.
  • Курс будет особенно полезен тем, кто хочет автоматизировать работу с книгами Excel.
Начальные требования
  • Базовые знания Python
  • Желание познавать новую информацию
Как проходит обучение
  • Все уроки в текстовом виде с кодом и подробными комментариями.
  • Есть задания для самостоятельной работы и решения.
Программа:

Книги и листы
  1. Установка openpyxl и настройка VS Code
  2. Создание книги и листов
  3. Удаление листа
  4. Меняем положение листа
  5. Копирование листов
Работа с данными в ячейках
  1. Создание ячейки двумя способами
  2. Методы и атрибуты ячейки
  3. Заполнение диапазона ячеек по строкам и колонкам
  4. Доступ к диапазону ячеек по срезу
  5. Генератор с диапазоном ячеек по строкам
  6. Генератор с диапазоном ячеек по колонкам
  7. Практика “Заполнение ячеек”
  8. Практика “Функция для заполнения ячейки”
  9. Практика “Таблица умножения”
Загрузка книги
  1. Загрузка книги. Генератор со значениями построчно
  2. Генераторы с значениями построчно и по колонкам
  3. Загружаем ячейки из одной колонки или диапазона колонок
  4. Загружаем ячейки из одной строки или диапазона строк
  5. Удаление строк и колонок
  6. Вставка колонок и строк
  7. Копирование строки из одного листа в конец другого листа
  8. Копирование по номеру строки из одного листа в другой
  9. Копирование по номеру строки из одного листа по другому номеру
  10. Практика “Неработающие вышки”
Стили
  1. Шрифт. font
  2. Заливка. fill
  3. Практика “Выделение строк”
  4. Границы. border
  5. Выравнивание. alignment
  6. Копирование стилей ячеек
  7. Именованные стили. NamedStyle
  8. Встроенные форматы данных. number_format
  9. Пользовательские форматы данных. number_format
Работа с ячейками
  1. Ширина колонки
  2. Высота строки
  3. Автоширина колонки
  4. Разделение объединенных ячеек
  5. Объединение ячеек
  6. Стили объединенных ячеек
Таблицы
  1. Создание таблицы
  2. Стили таблицы
  3. Практика “Создание таблицы из листа с данными”
  4. Добавление фильтра в колонку
  5. Вставка таблицы по адресу ячейки
Создание диаграмм
  1. Гистограмма
  2. 3D гистограмма
  3. 2D-диаграмма с областями
  4. Диаграмма линий
  5. Диаграмма линий 3D
  6. Круговая диаграмма
  7. Круговая диаграмма 3D
Условное форматирование
  1. Форматирование по значению
  2. По значению в ячейке
  3. Двухцветной гаммой
  4. Трехцветной гаммой
  5. Форматирование по формуле
  6. Форматирование иконками
  7. Форматирование индикатором данных
Защита
  1. Защита ячеек
  2. Защита листа
  3. Защита книги
Дополнительные возможности
  1. Вставка изображения на лист
  2. Сортируем листы по алфавиту
  3. Сортируем листы по указанному порядку
  4. Получаем номер колонки по букве
  5. Гиперссылки
  6. Завершение + бонус
ИСТОЧНИК

СКАЧАТЬ
 ]]>