<aside> 📌 요약 - 기존의 서비스에서 구현 되어있지 않는 음성 녹음 기록을 키워드 별로 요약하여 관리하는 서비스를 제안 및 개발하였음

• 요약 데이터셋으로부터 키워드를 추출하는 하는 방식을 자동화하여 키워드 요약 데이터셋을 제작하였음 - 현재 활발하게 연구되고 있는 분야인 RAG와 FiD를 활용하여 서비스에 적용하고자 하였음

</aside>

1. 프로젝트 개요

주제 선정 배경

💬 많은 사람들이 사용하는 음성 녹음 기록 노트. 하지만 길어질수록 다시 듣기가 어려움

💬 타임라인 별 요약은 누락된 부분이 많아 결국 사용자는 전체 스크립트를 볼 수 밖에 없다는 단점이 존재

💬 만약 음성 기록을 원하는 키워드 별로 요약해주는 서비스가 있다면? 음성 기록을 관리하는데 훨씬 편할 것.

💬 따라서 직접 제작한 데이터셋으로 학습한 키워드 요약 모델을 기반으로 음성 기록 키워드 기반 요약 서비스를 제작하였음

Service Architecture

설계 구조

Frontend : Streamlit으로 User Interface를 구현

Nginx : 로드 밸런싱을 통해 여러 서버를 병렬적으로 사용하여 AI 모델을 Infernce하게 함

Backend

• FastAPI를 사용하여 구현하였으며, Frontend로부터 받은 요청을 AI 모델들을 사용하여 처리.

• Frontend로부터 STT 요청, Summarize 요청을 받음

  STT 요청

  • 사용자가 음성 파일을 전송하면 Whisper를 사용하여 text로 변환(STT)하며, 문단화하며 KeyBERT를 이용해 text들 중 중요 키워드를 추출
  • 변환된 text들은 DPR을 통해 임베딩 값을 계산한 뒤 서버에 저장
  • 사용자는 전사화된 text와 음성 기록에서 중요 키워드로 작용한 단어들을 받아볼 수 있음

  Summarize 요청

  • 사용자는 요약의 중점이 될 키워드들을 전송
  • 서버는 DPR을 통해 연관된 문서들을 찾고, FiD를 통해 연관된 문서와 키워드들을 사용하여 가장 적합한 요약문을 출력

왜 키워드 요약 모델일까요?

💬 사용자가 키워드를 입력하였을 때, 업로드된 녹음 기록에 대하여 키워드에 관련된 요약본을 생성하여 출력해야 하기 때문에 키워드 요약 모델을 사용하였음

2. 프로젝트 팀 구성 및 역할