DATA HACK
5 — 7
августа 2022
Oнлайн-хакатон от SENSE Group и Акселератора Возможностей при ИНТЦ МГУ «Воробьевы горы» при поддержке ГК «Иннотех»
Примите участие в трехдневном онлайн-хакатоне в области Big Data, выполните задание одного
из трех кейсов на выбор и станьте победителем!
Успей зарегистрироваться до 1 августа!
Приём заявок окончен
Кейсы
Статический анализатор SparkSQL
с возможностью добавления
пользовательских правил
#1
Генератор синтетических данных
#2
Создание прототипа ETL Движка
из Postgres, Oracle, ClickHouse
в HDFS на Spark
#3
#1
Описание: необходимо разработать статический анализатор SparkSQL кода. Грамматика должна расширяться через отдельный BNF файл (https://en.wikipedia.org/wiki/Backus–Naur_form). Есть возможность добавлять пользовательские проверки в коде. Есть ООП интерфейс для использования из кода. Инструмент должен быть быстрым и изолированным. Не использовать Spark сессию. Укладываться в SLA до 5 секунд на 10 запросов.
Призовой фонд: 100 000 рублей за 1 место
Стек решений: #Python 3.7+, #Библиотека Lark, #Любые необходимые библиотеки, которые не требуют интеграции с внешними системами и БД.
Статический анализатор SparkSQL с возможностью добавления пользовательских правил
Призовой фонд: 100 000 рублей за 1 место
Описание: Для повышения качества разработки и тестирования функционала, до его установки на промышленный контур, требуется набор тестовых данных. Для финтех-компаний характерно, что большая часть данных может представлять собой «чувствительные данные» (персональные данные клиентов, информация по юридическим лицам и т.п.). Это накладывает определенные ограничения на репликацию подобных данных на среды разработки и тестирования. Также не всегда могут быть доступны или оперативно применяться инструменты маскирования данных. В связи с этим требуется инструмент, позволяющий генерировать синтетические данные на основе структуры таблиц и требуемого объема наполнения данными (для тестирования на ПК/кластере).
Стек решений: #Python 3.7+, #Spark > 2+
Генератор синтетических данных
#2
#3
Описание: движок должен быть шаблонизирован через конфигурацию. Простой snapshot с возможностью обогатить техническими столбцами (load_ts, source_name). Инкрементная загрузка с использованием HWM (High WaterMark) или другим методом.
Призовой фонд: 100 000 рублей за 1 место
Стек решений: #Python 3.7+, #PySpark 2+, #Hadoop 2+, #Postgres, #Oracle, #ClickHouse (см Spark JDBC).
Создание прототипа ETL Движка из Postgres, Oracle, ClickHouse в HDFS на Spark
ВОЗМОЖНОСТИ
ИТОГИ
Вы сможете получить квалифицированную помощь
и поддержку на любом этапе хакатона
Поддержка и менторство от ГК «Иннотех»
5–7 августа 2022 года SENSE Group и «Акселератор Возможностей» при ИНТЦ МГУ «Воробьевы горы» провели онлайн-хакатон DATA HACK. Партнером мероприятия стала Группа «Иннотех».
В воскресенье, 7 августа, прошло торжественное закрытие хакатона DATA HACK. Мероприятие объединило 235 участников из разных городов России. Общий призовой фонд составил 300 000 рублей.

Группа «Иннотех», выступившая партнером DATA HACK, подготовила комплексные и необычные кейсы
для соревнования:
• разработка статического анализатора Spark SQL-кода;
• разработка генератора фейковых данных для сложных запросов;
• создание прототипа ETL-движка из Postgres, Oracle, ClickHouse в HDFS на Spark, который будет шаблонизирован через конфигурацию.


Всего за 48 часов непрерывной и усердной работы участники смогли представить разработки и защитить
их на pitch-сессии перед экспертным жюри.


По итогам финальной презентации первое место в кейсе №1 заняла команда «Пепеданс» из СПбГУ. Второй кейс стал самым обсуждаемым – до pitch-сессии дошли 11 команд. После анализа всех решений участников члены жюри отдали победу команде «Sky_coders». Она пришла на хакатон в составе 2 человек, однако почти сразу ребята нашли сокомандников среди одиночных участников и собрали сильнейший состав, который и занял призовое место. Третью задачу блестяще решили ребята «ScalaLazy».


Все «хакатонщики» показали высокую скорость работы и грамотное применение навыков. Организаторы мероприятия отдельно отметили профессионализм участников несмотря на преимущественно молодой возраст.
Призовой фонд
300 000 рублей, а также специальные призы и подарки от партнеров
Возможность внедрить свое решение в систему компании
Решите кейс и получите шанс протестировать своё решение в работающей системе
Мастер-классы от профессионалов
Во время хакатона вы сможете поучаствовать
в мастер-классах от представителей IT-компаний, выиграть памятные призы и получить уникальные знания
5–7 августа 2022 года SENSE Group
и «Акселератор Возможностей» при ИНТЦ МГУ «Воробьевы горы» провели онлайн-хакатон DATA HACK. Партнером мероприятия стала Группа «Иннотех».
В воскресенье, 7 августа, прошло торжественное закрытие хакатона DATA HACK. Мероприятие объединило 235 участников из разных городов России. Общий призовой фонд составил 300 000 рублей.

Группа «Иннотех», выступившая партнером DATA HACK, подготовила комплексные
и необычные кейсы для соревнования:
• разработка статического анализатора Spark SQL-кода;
• разработка генератора фейковых данных для сложных запросов;
• создание прототипа ETL-движка из Postgres, Oracle, ClickHouse в HDFS на Spark, который будет шаблонизирован через конфигурацию.


Всего за 48 часов непрерывной и усердной работы участники смогли представить разработки и защитить их на pitch-сессии перед экспертным жюри.


По итогам финальной презентации первое место в кейсе №1 заняла команда «Пепеданс» из СПбГУ. Второй кейс стал самым обсуждаемым – до pitch-сессии дошли 11 команд. После анализа всех решений участников члены жюри отдали победу команде «Sky_coders». Она пришла на хакатон в составе 2 человек, однако почти сразу ребята нашли сокомандников среди одиночных участников и собрали сильнейший состав, который и занял призовое место. Третью задачу блестяще решили ребята «ScalaLazy».


Все «хакатонщики» показали высокую скорость работы и грамотное применение навыков. Организаторы мероприятия отдельно отметили профессионализм участников несмотря на преимущественно молодой возраст.
ЭКСПЕРТЫ
Ведущий разработчик
ГК «Иннотех»
Ведущий разработчик ГК «Иннотех»
Ведущий разработчик ГК «Иннотех»
Главный разработчик ГК «Иннотех»
Александр Кузнецов
Василий Трещев
Александр Буренков
Владислав Иванченко
DevOps-инженер «GlobalDots»
Кирилл Казаков
Эксперт в области обеспечения качеством и автоматизации тестирования ПО «DataArt»
Алексей Тараненко
Аналитик данных ГК «Иннотех»
Иван Свиридов
Павел Плотников
Senior Software Engineer
inDriver
Ярослав Меньшиков
Ведущий программист «ГисАвто»
Сергей Шайкин
Software Tester
«Libertex Group»
Lead Python development «VK»
Алексей Шарыпов
ЭКСПЕРТЫ
ПАРТНЕРЫ
Cовременная высокотехнологичная быстроразвивающаяся IТ-компания. С 2020 года мы разрабатываем инновационные решения для цифровизации бизнеса. ГК «Иннотех» выстраивает партнерские отношения с ведущими компаниями финансового сектора, предлагая им комплексные решения для фронт- и бэк-офисов, современные финтех-продукты, системы работы с большими данными. Кроме того, ГК «Иннотех» выполняет на заказ технологические проекты любой сложности, помогая своим клиентам на пути цифровой трансформации
ГК «Иннотех»
FAQ
Что такое хакатон?
Это командное соревнование для программистов, дизайнеров, менеджеров и аналитиков, которые в сжатые сроки решают технологическую задачу: разрабатывают прототип, содержащий основной функционал.
Какие требования к участникам хакатона?
Минимальные требования: в команде должно быть от 2 до 6 человек, а все участники должны быть старше 18 лет.
У меня нет команды. Что делать?
Зарегистрируйтесь и мы поможем вам найти команду. Для поиска команды вы можете самостоятельно воспользоваться каналом хакатона. Если возникнут трудности - не стесняйтесь писать организаторам в чат или на почту contact@ac-vo.ru.
Я не из Москвы. Могу ли я участвовать?
Конечно! Хакатон будет проходить в онлайн-формате, поэтому участвовать можно из любого города.
Что нужно для участия?
Минимальный набор для коммуникации – Telegram, Zoom.
Здесь нет моего вопроса. К кому обратиться?
По любым вопросам пишите нам на почту contact@ac-vo.ru или в общий канал хакатона в Telegram.