Условие
Аналитик жалуется, что pandas-скрипт обрабатывает 50M строк по 4 часа и иногда падает с MemoryError. Стоит ли переходить на Spark? Когда переход оправдан, а когда — нет?
OBenner/data-engineering: Spark vs pandas, когда переходить
Кейсы и метрикиData EngineeringСредняяMiddle
Хочешь увидеть разбор?
Зарегистрируйся бесплатно — откроется развёрнутое решение этой задачи и ещё 4 на выбор.
Зарегистрироваться и увидеть разборУже есть аккаунт? Войти