Автор bmlabs 
Компания Lyft столкнулась с серьезной проблемой в области обработки данных, которая впоследствии стала основой для создания проекта Eventual. В процессе работы с большими объемами данных Lyft заметила, что качество и надежность информации играют критическую роль в корректном функционировании сервисов. Основной вызов заключался в обеспечении семантической правильности, согласованности, полноты и своевременности данных при их постоянном обновлении и интеграции из различных источников.
Для решения этой задачи Lyft разработала систему Verity, ориентированную на повышение качества данных через упреждающее тестирование и проверки. Она фокусируется на определении контрактов, которые задают строгие правила и критерии для данных — например, проверка форматов, уникальности и своевременности. Такой подход помогает выявлять и предотвращать ошибки на ранних этапах, что значительно уменьшает риск распространения некорректной информации в системе.
Отличительной чертой решения Lyft стало смещение акцента на «левую» часть процесса — настройку и внедрение тестов еще до запуска обработки данных, в отличие от классического подхода, ориентированного на оценку качества уже после получения результатов. Это позволило компании повысить доверие к данным и обеспечить стабильность работы сервисов, чему способствовала строгая интеграция процессов тестирования и валидации данных с этапами их обработки.
Опыт Lyft вдохновил разработчиков создать Eventual — платформу, которая берет за основу описанный подход к контролю качества данных через контрактное тестирование и упреждающую валидацию. Eventual является попыткой стандартизировать и вывести на новый уровень процессы управления качеством данных, применяя идеи, проверенные и обкатанные на больших и сложных рабочих нагрузках Lyft.
Таким образом, проблема обработки данных в Lyft стала точкой отсчета для создания технологии, нацеленной на повышение надежности и качества данных в масштабируемых системах. Система Eventual берет на себя функцию гаранта качества, помогая компаниям строить более устойчивые и предсказуемые приложения за счет автоматизации контроля соответствия данных заданным контрактам и стандартам.