Data Engineering: - Developed data pipelines using NIFI. - Orchestrated task execution with Airflow. - Performed troubleshooting, profiling, and performance tuning. - Negotiated with Business Stakeholders to clarify task scope. - Created Spark applications using Scala and Python - Utilized SQL for querying and managing data within the data warehouse - Worked with Databricks for data transformation and distributed processing - Designed and implemented scalable data pipelines using Snowflake and Azure Data Factory AI Engineering: - Built LLM-powered data pipelines using Snowflake Cortex (AI_COMPLETE) - Designed and deployed RAG architectures for intelligent data retrieval - Integrated vector-based search and semantic querying into analytics workflows - Combined data engineering + AI to enable automated insights generation

- Разработка Kafka клиентов с использованием Scala и Java - Создание таблиц и оптимизация запросов в Greenplum - Создание витрин на Apache Spark (Scala, Pyspark) - Создание data pipelines с использованием Apache Airflow, DBT - Сохрание parquet файлов в GlusterFS с использованием S3 API - Работа с gitlab ci cd

Разработка и сопровождение программ для дальнейшего внедрения в Big Data проекты Spark: написание программ для обработки данных (pyspark, scala) Hive: автоматизация процессов в базе данных Hive (создание таблица, партиций) Data Visualisation: Grafana, Superset Hadoop: загрузка и чтение данных из hdfs ETL: использование spark для обработки и загрузки данных в БД (PostgeSQL, Oracle, MariaDB) из HDFS Streaming: создание Spark Structured Streaming приложение для анализа онлайн потоков Kafka: разработка kafka consumer Open source: разворачивание open source продуктов на Linux (CentOS) Airflow: создание data pipeline

Python: занимался парсингом сайтов для сбора данных (использовал библиотеки: Beautiful Soup, requests, Selenium); разрабатывал backend (Flask), вызов процедур из Oracle и обработка данных (cx_Oracle) Java: разрабатывал Kafka Consumers Linux: поддержка приложений развернутых на Red Hat Enterprise. Excel VBA: Создание отчетов с помощью SAP Bex analyzer и Excel VBA Data Visualisation: SAP BO Dashboards

Создание отчетов и их сопровождение в с помощью Excel и VBA