Татьяна Дидова — Как мы тестировали 5 способов загрузки данных в Greenplum и что из этого вышло

Подробнее о конференции SmartData:
— — Скачать презентацию с сайта SmartData —
Из-за архитектурных особенностей Greenplum грузить данные классическим способом — не всегда хорошее решение. При росте объема данных загрузка данных на мастер ухудшает производительность кластера, и когда грузишь сотни гигабайт данных, приходится искать другие способы. Каждый из них обладает разной скоростью, пропускной способность и гибкостью с точки зрения объема данных. Татьяна и ее команда решили протестировать и сравнить 5 способов загрузки данных: insert, copy, pxf, gpfdist, spark-connector. И выяснить, какой из них лучше подходит для той или иной задачи.