Workflow Generation Powered by LLM

Workflow는 소프트웨어 시스템 전반에서 매우 보편적으로 사용되는 개념으로, 비즈니스 프로세스나 과학적 방법론을 workflow 모델로 구현함으로써 프로세스의 자동화를 실현하는데 중요한 역할을 합니다. 만약 자동화를 No-Code, 혹은 Low-Code 환경에서 자동화할 수 있다면 엄청난 생산성의 혁신과 프로세스의 효율성을 극대화할 수 있을 것입니다.

하지만 이는 결코 쉽지 않은데요, 기본적으로 workflow를 효율적으로 설계하고 구현하는 일은 여전히 큰 도전과제로 남아있습니다. 이러한 모델을 생성하려면 먼저 도메인에 대한 깊은 지식과 함께 non-trivial한 workflow 모델링 기술이 요구됩니다. 이는 전문가가 아니면 쉽게 접근하기 어려운 작업으로, workflow 애플리케이션이 더욱 널리 확산되는데 큰 걸림돌이 되고 있습니다.

이런 상황에서 최근 대형 언어 모델 (LLM)의 등장은 새로운 가능성을 보여주고 있습니다. LLM은 자연어 기반의 지시를 이해하고, 문맥에 맞는 코드를 생성하는 뛰어난 능력을 바탕으로 소프트웨어 코드 생성 분야에서 널리 활용되고 있는데요. 이런 능력을 Workflow Generation에 적용하면, 기존의 높은 기술적 장벽을 낮추고 자연어를 기반으로 손쉽게 Workflow 모델을 설계하거나 수정할 수 있는 새로운 접근 방식을 제공할 수 있습니다.

그렇다고 해서 모든 문제가 해결된 것은 아닙니다. LLM을 활용한 Workflow Generation에는 여전히 두 가지 큰 도전 과제가 남아 있습니다. 첫째, 완전히 새로운 Workflow를 처음부터 정확히 생성하는 일은 모델에게도 까다로운 작업입니다. 둘째, 생성된 Workflow를 수정하거나 최적화하는 과정 또한 비즈니스 요구 사항의 복잡성이나 맥락에 따라 어려움을 동반합니다.

이 글에서는 Workflow Generation 혹은 Robotic Process Automation(RPA)의 기술적 현황과 가능성, 그리고 LLM을 활용해 이러한 문제를 해결하기 위한 접근법을 살펴보고자 합니다 (본 블로그에서는 workflow generation과 RPA를 동일한 개념으로 간주했습니다).

‍

연구 현황

‍

Moreira의 연구에 따르면, RPA 관련 연구가 선형적으로 증가하고 있으며 2021년에는 이미 1년에 출판되는 논문의 개수가 3000개를 넘었습니다. 먼저 정의부터 살펴보면

Robotic: systems that copy human behavior and perform tasks according toProcess: steps that lead to the fulfillment of a taskAutomation: any task that’s performed with assistance and not manually

출처: Ahuja, Shefali, and R. K. Tailor. "Performance evaluation of Robotic Process Automation on waiting lines of toll plazas." NVEO-NATURAL VOLATILES & ESSENTIAL OILS Journal| NVEO (2021): 10437-10442.

이렇게 정리할 수 있습니다. 인간의 행동을 ‘이해’하고 ‘과업’을 완료해야할 수 있으며 어떤 외부적인 도움 없이 ‘자동화’할 수 있어야 합니다.

‍

최근 LLM의 등장으로 관련 연구 및 응용 속도는 더 빨라지고 있는데요, 단순히 자동화 기술이 정형화된 작업을 수행하는데 그치는 것이 아니라, LLM의 강력한 추론 능력과 자연어 처리 역량이 더해지면서 workflow generation의 한계를 확장하고 있습니다.

먼저 LLM은 단순히 텍스트를 예측하고 완성하는 수준을 넘어, 입력된 명령어의 의미를 이해하고 이에 대한 추론을 수행할 수 있다는 점이 주목받고 있습니다. 특히 OpenAI의 모델인 o1-preview는 LLM이 사람의 의도를 정확히 파악해 다양한 상황에서 논리적이고 창의적인 응답을 생성할 수 있음을 입증했습니다. 이와 같은 추론 능력은 RPA가 기존에 처리하기 어려웠던 비정형 데이터와 복잡한 워크플로우 문제를 해결할 수 있는 새로운 가능성을 열어줍니다.

또한 LLM은 사람의 자연어 명령을 이해하는 데 뛰어난 강점을 보이며, 이를 통해 입력 데이터의 유연성이 크게 증가했습니다. 기존 RPA 시스템에서는 사용자가 엄격히 정의된 형식으로 데이터를 입력해야 했던 반면, LLM의 자연어 이해 능력 덕분에 보다 다양한 형식과 문맥에서 명령을 입력할 수 있게 되었습니다. 이는 RPA의 활용 범위를 기존의 반복적이고 규칙 기반 작업에서 창의적이고 지능적인 과업으로 확장시키는 데 중요한 역할을 합니다.

이제부터는 Workflow Generation과 관련된 연구 사례들 중 몇 가지를 살펴보겠습니다. 이를 통해 LLM 기반 Workflow Generation이 실제로 어떤 방식으로 업무 자동화의 한계를 극복하고 있는지, 그리고 이 기술이 미래의 워크플로우 설계와 실행에 어떤 영향을 미칠지를 알아보도록 하겠습니다.

FlowMind: Automatic Workflow Generation with LLMs

FlowMind는 LLM을 사용해 자동으로 워크플로우를 생성하는 방법을 제안합니다. 이 시스템은 프롬프트 설계를 기반으로 워크플로우 생성 과정을 구조화하고, API를 활용해 환각(hallucination) 문제를 줄이면서 데이터와 코드의 보안을 강화합니다. 사용자는 생성된 워크플로우의 고수준 설명을 보고 피드백을 제공할 수 있으며, 이를 바탕으로 시스템이 워크플로우를 조정합니다. 이렇게 사용자와의 상호작용을 통해 워크플로우의 유연성과 정확성을 높이는 것이 특징입니다.

‍

‍

제안 모델은 크게 2개의 단계로 구성되어 있는데요, ‘lecture’라고 칭하는 시스템 프롬프트를 구성하는 1단계와 이를 바탕으로 실행 가능한 코드를 생성하는 2단계로 이루어져 있습니다. Lecture에는 맥락 정보와 사용할 수 있는 API의 목록 및 정의문서가 작성되어 있으며 이를 바탕으로 workflow를 생성합니다. 이 과정에서 high-level description을 먼저 생성하고 사람이 이를 바탕으로 피드백 하여 추가적으로 성능을 높일 수 있는 피드백 과정이 추가될 수 있습니다.

매우 구현하기 쉽고 직관적인 구조이지만 GPT baseline에 비해서 약 30% 포인트 높은 성능(NCEN-QA-Easy 데이터셋 기준)을 기록할 수 있음을 확인할 수 있었습니다.

‍

StateFlow: Enhancing LLM Task-Solving through State-driven Workflows

그런가하면 시스템 디자인에서 주로 사용되는 State Machine의 개념을 차용하여 workflow를 생성하고자 하는 연구도 존재합니다.

State Machine은 시스템을 크게 state (상태)와 transition (전이)로 표현하는 모델링 방법인데요, Workflow 생성을 위한 프로세싱을 수립하는 과정을 state machine으로 정의하여 이 문제를 해결하고자 하였습니다.

‍

SQL을 푸는 문제를 예를 들면, 현재 프로세스가 크게 Observe, Select, Verify 과정 중 하나에 속한다고 정의하여 이에 따른 행동 양식을 정의하여 LLM을 사용해 세부적인 로직을 수립하도록 했습니다.

‍

조금 더 구체적으로 살펴보면, Observe 단계에서는 주어진 맥락 정보를 바탕으로 필요한 정보를 추출하는 것을 주요 목적으로 하고, Solve 단계에서는 이를 기반으로 실제 실행 가능한 SQL문을 작성하도록 지시하여 좀 더 구조화된 추론을 가능하게 했습니다. 연구자는 이를 통해 기본 GPT-4 모델과 ReAct 기반 모델에 비해 더 향상된 성능을 이끌어낼 수 있다고 주장합니다.

‍

ToolPlanner: A Tool Augmented LLM for Multi Granularity Instructions with Path Planning and Feedback

그런가하면 Markov Chain Tree Search (MCTS)의 개념을 차용하여 문제를 해결하고자 하는 시도도 제안되었습니다.

MCTS에 대해서 간단히 설명드리면, 어떤 상태에서 다음 상태로 넘어가는 가능성을 확률적으로 계산하고, 그 과정에서 여러 선택지를 평가해 최선의 결정을 내릴 수 있도록 도와주는 모델입니다. 쉽게 말해, "지금 상태에서 한 걸음 더 나아가면 어떤 일이 일어날까?"를 예측하면서, 여러 갈래 중 가장 좋은 선택지를 고르는 방식입니다.

이 개념은 알파고(AlphaGo)에서 핵심적으로 활용되었습니다. 알파고는 바둑의 모든 가능한 다음 수를 살펴보고, 각각의 수를 선택했을 때 나중에 승리할 가능성을 계산한 뒤 최적의 수를 두도록 설계되었습니다. 마찬가지로 이러한 접근방식이 workflow 생성에도 도움이 될 수 있다는 것이 핵심 아이디어였죠.

‍

제안 방법론은 크게 다음의 과정으로 구분될 수 있습니다.

‍

‍

이러한 강화학습 기반 접근을 통해 연구자는 점점 더 신뢰성 있는 모델을 만들어 낼 수 있음을 실험적으로 입증했습니다. 특히, GPT-4를 단독으로 사용할 때보다 20%포인트 이상 더 유효한 워크플로우를 생성할 수 있었다고 주장합니다.

그 외에 feedback과정을 구체화 하여 마인크래프트 게임에서 문제를 해결하는 연구 [6], API 문서에서 RAG와 유사한 방식으로 지식 정보를 추출하여  workflow를 생성하는 연구[7],  Multi-agent를 활용하는 연구[8], 더욱 강건한 discriminator를 개발하여 결과물에 대한 평가 과정을 고도화 한 연구[9], 그 외에 다른 방식으로 tree search를 활용한 연구들 [10,11] 등이 있습니다.

‍

마치며

Workflow Generation은 현대 소프트웨어 시스템과 비즈니스 프로세스에서 점점 더 중요성이 커지고 있는 기술로, 이를 자동화하고 효율적으로 설계하는 과정은 여전히 해결해야 할 많은 도전 과제를 안고 있습니다. 그러나 LLM의 등장과 이를 활용한 다양한 접근 방식들은 이러한 문제를 극복하고 새로운 가능성을 열어주고 있습니다.

FlowMind와 StateFlow처럼 프롬프트 설계나 상태 기반 설계를 활용한 연구는 LLM의 강점을 극대화하면서 워크플로우 생성의 정확성과 유연성을 높이는 데 기여하고 있습니다. 또한, ToolPlanner처럼 강화학습과 MCTS를 결합해 더 강력한 솔루션 트리를 작성하는 시도는 워크플로우 자동화의 한계를 확장하는 중요한 사례로 평가됩니다. 이 외에도 피드백 과정을 통해 모델 성능을 점진적으로 개선하거나, ㄷAPI 문서를 활용해 더 풍부한 정보를 추출하는 다양한 연구가 제안되고 있으며, 각 접근법은 독창적인 방식으로 워크플로우 생성을 혁신하고 있습니다.

결국, LLM 기반 워크플로우 생성의 발전은 단순히 기술의 진보를 넘어서, 복잡한 문제 해결 과정에서 인간의 창의성과 효율성을 동시에 지원하는 도구로 자리 잡고 있습니다. 앞으로 이 기술이 다양한 분야에서 어떻게 더 실용적이고 강력한 방식으로 활용될지 기대됩니다. Workflow Generation과 관련된 추가 연구 및 응용 사례들은 이러한 가능성을 더 구체적으로 보여줄 것입니다.