Разработка масштабируемого программного обеспечения на примере создания графов обработки данных скважинных волоконно-оптических систем DAS

Аннотация: В эпоху тотальной автоматизации бизнес-процессов, в том числе и процессов обработки больших данных актуальной является смена парадигмы разработки ПО в направлении конвейерной многопоточной обработки данных. Отсутствие единой среды, в которой можно было бы организовать производственный процесс обработки данных и разработку/доработку ПО влечет организационные издержки для небольших компаний и крупных корпораций. Существуют платформы и решения, обладающие достаточной гибкостью и необходимой функциональностью, чтобы в них самоорганизовывался процесс разработки ПО и непосредственно выполнялась ресурсоемкая обработка. В своих производственных и исследовательских работах мы используем платформенное решение, которое установлено на локальном кластере нашей компании, и позволяет нам быстро разрабатывать гибкие и легко масштабируемые на вычислительных кластерах многоступенчатые и многовариантные графы обработки данных, и предоставлять Заказчикам онлайн веб-сервисы. В данной работе демонстрируется процесс создания такого специализируемого программного обеспечения (ПО) на примере разработки алгоритмов обработки данных с волоконно-оптических систем.