Наш початковий підхід був таким: Веб-додаток читав .csv-файл рядок за рядком і передавав масив записів на внутрішній REST API. Обробка відбувається в режимі реального часу, одразу після того, як користувач робить запит на запуск процесу, він очікує на результат. Інший підхід полягає в застосуванні вертикального масштабування до архітектури AWS. Це означає, що ми використовували більші, дорожчі екземпляри, які мають більше оперативної пам’яті та обчислювальної потужності. Ця система добре працювала для невеликих наборів даних, можливо, до 5 тис. записів, але для більших наборів даних виникали численні проблеми. Це рішення схильне до збоїв через тривалий час запиту. Також через деякі сторонні сервіси, які не оптимізовані для великих навантажень або не мають пакетних кінцевих точок. Сторонні сервіси також прагнуть захистити свою архітектуру, щоб не виставляти величезні рахунки. Весь процес відбувається в режимі реального часу. Запит може зайняти багато часу, поки бекенд виконає всю роботу і поверне результат клієнту. Запит був обмежений 300 секундами (на момент написання статті), перш ніж AWS скасує його… Також я повинен згадати, що користувач повинен почекати кілька хвилин, щоб побачити результати. Вони не можуть користуватися додатком під час цього процесу, що створює поганий користувацький досвід.