01.10.2021Отрасль
Cloud Services
Должность
Главный разработчик
Обязанности
Развитие хранилища данных кредитного брокера Всегда Да (далее для краткости ВД), в котором я изначально работал до его поглощения Совкомбанком (далее СКБ), развитие хранилища данных Финбокса (ФБ, другой поглощённый СКБ кредитный брокер), и интеграция этих хранилищ с материнским хранилищем СКБ:
- Поддержка, разработка, оптимизация хранилища данных ВД на Oracle DB 12c (core-слой на Data Vault), хранилища данных ФБ на Microsoft SQL Server 2014, PostrgeSQL (ods и dds-слои без какой-либо методологии) и ClickHouse (витрины), и интеграция с хранилищем СКБ на Oracle DB 19c (смешанная архитектура)
- Поддержка, разработка, оптимизация ETL-процессов на Oracle DI 12c (ВД, СКБ), Apache Airflow (ВД), Microsoft SSIS (ФБ)
- Миграция ETL-процессов из Oracle DI 12c в Apache Airflow (ВД)
- Покрытие ETL-процессов юнит-тестами (в основном, витрин данных) (ВД)
- Санация ETL-процессов, планов загрузок, DAG-ов (ВД)
- Разработка и поддержка дашбоардов в Qlik Sense (ВД), Apache Superset (ВД), Microsoft Power BI (ФБ)
- Миграция дашбоардов Oracle BI EE и Qlik Sense в дашбоарды Apache Superset (ВД)
- Поддержка, разработка, оптимизация многомерных (MDX) и табличных (DAX) кубов Microsoft SSAS 2014 (ФБ)
- Поддержка, разработка, оптимизация отчётов Microsoft SSRS (ФБ) и Oracle BI Publisher (ВД)
- Поддержка, разработка, оптимизация репозитория и анализов Oracle BI EE (ВД)
А также,
- Участие в анализе архитектуры решений, выработке новых технических решений и подходов
- Анализ, оценка, декомпозиция задач и проектов
- Ревью разработки
- Распространение технической экспертизы, помощь новым коллегам в адаптации, проведение технических встреч
- Проведение технических собеседований
- Управление техническим долгом
- Ведение документации проекта
Основные достижения:
- Имплементировал более 300 различных ETL-процессов (большую часть в ВД)
- Имплементировал 20 новых витрин данных (большую часть в ВД)
- Разработал шаблонизатор ETL-процессов для Oracle DI с использованием Oracle DI SDK (в ВД)
- Разработал шаблонизатор ETL-процессов для Microsoft SSIS с использованием BIML (в ФБ)
- Провёл десятки собеседований и нанял 3 разработчиков, 2 аналитиков, 1 стажёра (в ВД)
- Внедрили Oracle GoldenGate (OGG) для непрерывной интеграции данных (в ВД)
- Перевели витрины данных на Oracle In-Memory (в ВД)
- Пилотировал проект внедрения Greenplum для аналитики (в ВД)
Стек: Oracle DB 19c, Oracle DI 12c (ODI), Oracle GG 12c (OGG), Oracle BI EE 12c (OBIEE), python, Apache Airflow, Docker, Apache Superset, Microsoft SQL Server 2014, SSIS, SSAS, SSRS, Power BI, ClickHouse
Стек технологий
Oracle, Oracle, Live Data, Microsoft SQL Server, PostgreSQL, ClickHouse, Oracle, API, Airflow, Microsoft Windows, Oracle, ООП, Qase, Apache, Microsoft Office, Oracle, YouGile, Microsoft SQL Server, SES, ssr, Oracle, MODX, JAXB, Python, Docker, bearlibterminal, Oracle, PlantUml, Unit testing, описание процессов и логики, работа с БД, Моделирование бизнес процессов, Интеграции, Разработка приложений, Формирование отчетности о ходе реализации проекта, Системный анализ, Постановка и декомпозиция задач, Code review, Разработка технической документации, Разработка технической документации, Управление командой
01.08.2008 - 01.09.2021Должность
От разработчика до техлида
Обязанности
- С 2008 года по 2016 год занимался разработкой (на Xpp, C#, а также использовал Microsoft SSRS, SSIS, SSAS) для ERP-системы Microsoft Dynamics AX (Axapta) 4.0 \ 2009 \ 2012 R3 и Microsoft Dynamics CRM 2011 в разных компаниях, таких как Сибирский антрацит, Восточная Техника, Быстроном, Градиент, Майкрософт Рус
- С 2017 года занимаюсь хранилищами данных, BI, ETL на стеках Microsoft (SQL Server 2008 R2 \ 2014 \ 2016, SSIS, SSAS, включая многомерные (MDX) и табличные (DAX) кубы, SSRS, Power BI), Oracle (DB 12c \ 19c, ODI 11g \ 12c, OBIEE 11g \ 12c), Apache-стеке (Airflow, Superset). Также есть опыт в Greenplum, ClickHouse, IBM Cognos BI и в других продуктах на беглом уровне (Informatica PwC 10.2, Oracle GG, Oracle RPAS, Oracle Essbase, Oracle Hyperion FM, SAS DI, Vertica, IBM DataStage, Teradata, SAP BO). Работал с разными компаниями, такими как Холидей Классик, Ростелеком, МТС, АБИ Продакт, ПКБ, Якобс (JDE), Вайлдберриз, Росбанк, ЦУМ, Иннотех (ВТБ), Хоум Банк
Стек технологий
WP, C#, ssr, SASS/SCSS, SES, MS SQL, Axure, CRM, SQL Server, Power BI, Oracle, API, YouGile, Airflow, XSD, PlantUml, ClickHouse, IBM Integration Bus 9.0, PWA, Oracle, Oracle, Oracle, Oracle, SASS, vuejs, IBM Integration Bus 9.0, Tenda, SM, MODX, JAXB