더브이씨 | THE VC
LLM 기반 R&D 과제 및 기업 정보 요약 파이프라인 구축
프로젝트 소개
투자자가 기업의 기술 정보를 신속하게 파악할 수 있도록, AI를 활용하여 기술 및 기업 데이터를 체계적으로 구조화하는 프로세스를 구축하고자 했습니다. 특히 딥테크 기업은 보유한 '기술력'이 기업의 가치를 결정짓는 핵심 요소이기에, 투자자의 정확한 기술 정보 이해는 의사결정의 필수 조건입니다. 하지만 관련 데이터가 R&D 과제나 특허, 뉴스 등 여러 채널에 산재해 있고 전문적인 용어와 복잡한 문장으로 이루어져 있어 해석상의 병목이 존재했습니다. 이에 파편화된 기술 정보를 명확하게 요약하고 정제하는 LLM 기반의 파이프라인을 설계하였습니다.
세부 목표:
1. 국가 R&D 과제 요약
1-1. 기술·산업 분류 체계 재설계
1-2. 요약 파이프라인 구축
2. 기업 정보 요약
2-1. 뉴스 데이터 전처리
2-2. 기술 타임라인 생성
2-3. 요약 파이프라인 구축
로드맵
진행 프로세스
주제 1. 국가 R&D 과제 요약
국가 R&D 과제 원문은 복잡한 전문용어와 긴 문장으로 투자자가 한 눈에 이해하기 어렵다. 이에 과제 원문을 구조화된 요약으로 변환하는 파이프라인을 설계하였다.
주제 1-1. 기술·산업 분류 체계 재설계
- 각 과제에 대한 기술 및 산업 분야를 분류하기 위한 분류 체계를 재설계하였다.
- 기존 더브이씨의 분류 체계를 확장, 기술 37개, 산업 23개의 분류 체계를 새롭게 정의하였다.
- 원문 기반으로 분류 후보를 선정하고, 근거를 검증하여 최대 2개까지의 분류를 확정하는 복수 태깅 로직을 마련하였다.
주제 1-2. 요약 파이프라인 구축
- 내용 요약: R&D 과제 원문의 과제명, 연구목표, 연구내용, 기대효과의 내용을 빠르게 이해할 수 있는 요약 문장을 생성한다.
- 기술·산업 분류: 앞서 정의한 분류 체계 taxonomy를 기준으로, 각 R&D과제별로 적절한 기술 및 산업 분야를 최대 2개까지 분류한다.
- 키워드: R&D 과제 원문에서 5개의 키워드를 추출 후 정규화 과정을 거친다.
주제 2. 기업 정보 요약
뉴스·특허·R&D 정보를 기업 단위로 통합 및 요약하는 파이프라인을 설계하였다. R&D 데이터의 경우 주제 1에서 생성한 output 데이터를 활용하였다.
주제 2-1. 뉴스 데이터 전처리
- 회사명이 일반어인 케이스를 선별하여, 회사와 무관한 뉴스를 필터링하였다.
주제 2-2. 기술 타임라인 생성
- 기업의 기술 변화 궤적을 추적하기 위하여, 뉴스·특허·R&D 기반의 기술 타임라인을 구축하였다.
주제 2-3. 요약 파이프라인 구축
- 기술 요약: 구축된 기술 타임라인을 기반으로, 기업의 기술 변화 궤적을 2~3문장으로 설명(trajectory) 및 현재 기술 정체성을 한 문장으로 요약(one_liner)한다.
- 기술·산업 분류: 기업 요약 정보를 바탕으로, 주제 1의 분류 체계를 활용하여 주력 기술 및 소속 산업 분류를 배정한다.
- 키워드: 기업 정보를 종합적으로 반영하여 5개의 Raw 키워드를 추출하고, 투자자의 탐색 언어에 가깝도록 트리 기반 정규화를 통해 최종 노출 키워드를 설정한다.
- 협력 기관: 뉴스 기사 원문에서 각 기업별로 협력 기관(MOU, 공동개발, jv 등)을 추출한다.
성과 및 인사이트
- 파편화된 기술 정보를 통합하여 요약 정보를 생성하는 파이프라인 구축
- R&D 과제 및 기업명 검색이 가능한 서비스 데모 구현
- 기존 더브이씨 분류 체계에 대한 인사이트 제시 및 새로운 분류체계 정의
- 새로운 관점의 키워드 생성 로직 및 뉴스 필터링 로직 제시
PM 소회
더브이씨와 프로젝트를 진행하며 좋았던 점은 무엇인가요?
- 사측에서 저희 팀을 굉장히 존중해주셨던 점이 가장 좋았습니다. 프로젝트의 자유도가 높아 다양한 아이디어와 방법론들을 시도해볼 수 있었고, 이 덕분에 각 팀원들의 능력이 극대화되었던 것 같습니다. 동시에 저희의 진행 상황을 지속적으로 피드백 해주시며 의사결정이 필요한 순간에도 명확히 소통해주셔서 진행이 아주 순조로웠습니다. (빵빵한 Claude 및 GPT 지원은 덤!)
프로젝트 진행 중 겪었던 가장 큰 어려움은 무엇이었나요? 이를 어떻게 해결했나요?
- 다양한 문제 상황이 존재했지만, 팀에서 가장 골머리를 앓았던 부분은 기술 및 산업 분류 체계를 재정의하는 작업이었습니다. 초기에는 최대한 MECE한 분류 체계를 마련하고자 했으나, 그레이존이 생각보다 넓었으며 정확한 분류라는 것이 가능한가에 대한 회의감이 들었습니다. 이후 복수 태깅을 허용하는 등 지속적인 수정 작업을 거치며 초안이 무산되는 등의 어려움을 겪기도 했습니다. 프로젝트 성격 상, 전반적으로 정답이라는 것이 없고 성과 지표가 수치적으로 나타나지 않아 지칠 법도 했으나, 끝까지 최선을 다해 결국 만족할만한 결과를 완성해낸 팀원들에게 너무나도 고맙습니다.
이번 경험을 통해 어떤 인사이트나 역량을 얻으셨나요?
- LLM 파이프라인 구축이 핵심이었던 만큼, AI를 도구로서 깊이 있게 다뤄볼 수 있었던 프로젝트였습니다. 이번 프로젝트를 계기로 프롬프트를 어떻게 설계해야 원하는 결과를 안정적으로 얻을 수 있는지, 작업의 성격에 따라 어떤 모델을 선택해야 하는지, Chain-of-Thought와 같은 방법론을 언제 적용해야 효과적인지 등을 실제 사례를 통해 고민해볼 수 있었습니다. 또한 대량의 데이터를 처리해야 하는 과정에서 Batch API 활용이나 비용 최적화 방안까지 함께 고려하게 되면서, AI를 단순히 사용하는 것을 넘어 실무에 효율적으로 적용하는 방법을 익힐 수 있었습니다.
향후 유사한 프로젝트를 진행할 학회원들에게 전하고 싶은 조언이 있나요?
- 기존에 GH에서 전통적으로 진행하던 DA, DS 프로젝트와는 성격이 다른, 제품/서비스 개발에 가까운 성격의 프로젝트였습니다. 각 팀원들의 역할이 뚜렷하게 분리되어 있었기 때문에, PM으로서 실무를 직접 채우는 것도 중요하지만, 각 파트의 진행 상황과 병목을 팔로업하며 전체적인 큰 그림을 그려나가는 것이 핵심적인 역할이었던 것 같습니다. 특히 "양질의 요약이란 어떤 것인가"에 대한 정답이 정해져있지 않은 만큼, 수치적 지표 대신 팀원들과 의사결정의 근거를 계속 공유하고 합의하는 것이 중요했습니다. 비슷한 상황에 처하게 된다면, 어떤 근거로 결과물을 평가할 것인지에 대한 고민과 논의를 충분히 나누시길 바랍니다. 개인적으로는 이러한 조율자로의 역할을 충분히 수행하지 못한 것 같아 아쉬운 마음이 들기도 합니다.