12 октября в Research Insights Made Simple снова встречаемся с Колей Головым и продолжаем разговор про платформы данных. В этот раз разберём, как объединить операционные базы, аналитику и AI-агентов и можно ли при этом избавиться от привычного зоопарка интеграций.
Николай Голов - директор по продукту одной из датаплатформ, доступных на российском рынке. Раньше он руководил дата-платформами в Avito и ManyChat, преподаёт базы данных и системы хранения в Harbour.Space (https://harbour.space/faculty/Nikolay-Golov). Так что обсудим и устройство технологий, и практику построения платформ, которые потом кому-то поддерживать.
На картинке всё выглядит заманчиво: оставляем PostgreSQL для транзакций, изменения из остальных систем отправляем через CDC в объектное хранилище, сверху ставим Lakehouse и подключаем агентов через MCP. Данные собраны, инструменты доступны, можно задавать вопросы. Правда, между «сложили всё в S3» и «агент правильно понял бизнес» ещё помещается довольно много инженерной работы :)
Посмотрим, как к этой задаче подходят Databricks, Snowflake, ClickHouse, Microsoft Fabric, Google, AWS и Oracle. У кого-то объединение происходит на уровне хранения, у кого-то через репликацию и общие запросы, а кто-то собирает всё внутри одной СУБД. За похожими словами про единую платформу скрываются разные архитектуры и разные ограничения.
Поговорим о том
- Где проходят границы между OLTP, аналитикой и агентным бэкендом;
- Что на практике означают «одна копия данных» и zero-ETL;
- Когда CDC и Lakehouse упрощают жизнь, а когда добавляют ещё одну систему, за которой надо следить;
- Какую роль могут играть PostgreSQL, DuckLake и S3 в собственной платформе;
- Что нужно агенту помимо доступа к таблицам: определения показателей, права, контекст и возможность проверить результат.
Хочется понять, какую сложность эти подходы действительно убирают и какая просто переезжает в другое место. Выпуск будет полезен архитекторам, инженерам данных и руководителям, которые выбирают платформу или подключают AI к существующим данным.
Timeline
00:00 - Данные организации для AI-агента
02:47 - Четыре подхода вместо одного правильного решения
05:16 - Классическое хранилище и подготовленные витрины
08:45 - CDC, ETL и размер компании
11:15 - Федеративные запросы: Presto и Trino
16:17 - Универсальная СУБД и ограничения HTAP
18:23 - Единый слой хранения и текущее состояние таблиц
26:09 - Microsoft и AWS: передача изменений
34:51 - ClickHouse: федеративный доступ и репликация
40:04 - Google: операционные базы, BigQuery и стоимость
47:34 - Oracle и SAP HANA: нагрузки внутри одной СУБД
53:56 - Databricks: Neon, Mooncake и общий слой
1:00:17 - Snowflake и PostgreSQL
1:02:25 - Сравнение подходов и пределы общего хранения
1:07:42 - Собственная платформа и открытые форматы
