- 전통적 머신러닝 기법과 최신 딥러닝 기법의 장점을 모두 취해
- 다양한 실제 인공지능 응용에 활용될 수 있을 것으로 기대
▲ (왼쪽부터) 서울대학교 공과대학 컴퓨터공학부 유경인 박사과정, 전병곤 교수
서울대학교 공과대학(학장 차국헌)은 컴퓨터공학부 전병곤 교수팀이 마이크로소프트와 공동으로 전통적 머신러닝 파이프라인을 신경망(neural network)으로 변환해 최적화하는 프레임워크인 WindTunnel을 개발했다고 9일 밝혔다.
이번 성과는 전통적 머신러닝 기법과 최신 딥러닝 기법의 장점을 모두 취하는 핵심 기술로, 클릭률 예측, 추천 시스템 등 다양한 실제 인공지능 응용에 활용될 것으로 예상된다.
딥러닝 기법이 컴퓨터 비전이나 자연어 처리 등의 분야에서 효과적인 것으로 나타나 많은 각광을 받고 있지만, 클릭률 예측이나 추천 시스템 등의 인공지능 응용에서 사용되는 표 형식 데이터(tabular data)는 여전히 선형 모델(linear model)이나 GBDT(gradient boosting decision trees)와 같은 전통적 머신러닝 기법이 더 나은 성능을 보이는 경우가 많다.
전통적 머신러닝 기법 사용 시에는 보통 다수의 머신러닝 모델 및 데이터 변환 연산을 엮어서 하나의 머신러닝 파이프라인을 구성하고, 학습 시에는 파이프라인을 구성하는 각 요소를 개별적으로 학습한 후 사용하게 된다.
서울대학교 컴퓨터공학부 전병곤 교수팀은 파이프라인의 각 구성 요소를 개별적으로 학습한 후 이를 인공신경망으로 변환하여 여러 구성 요소를 역전파(backpropagation)로 한 번에 최적화하는 기술을 개발했다. 특히 GBDT나 범주형 데이터 인코더(categorical feature encoder)와 같이 일반적으로 미분 불가능한 구성 요소를 신경망으로 변환하고 최적화하는 방법을 제안했다.
이 기술을 이용해 개발된 WindTunnel 프레임워크는 기존 방법 대비 더 높은 예측 성능과 함께 표 형식 데이터에 관한 전통적인 머신러닝과 딥러닝 기법 사이의 절충안을 찾는 다양한 연구로 이어질 수 있을 것이라는 평가를 받았다.
한편, 이번 연구 결과는 ‘VLDB(International Conference on Very Large Data Bases) 2022’에서 발표될 예정이다.
“WindTunnel: Towards Differentiable ML Pipelines Beyond a Single Model”, Gyeong-In Yu, Saeed Amizadeh, Sehoon Kim, Artidoro Pagnoni, Ce Zhang, Byung-Gon Chun, Markus Weimer, and Matteo Interlandi.
[문의사항]
서울대학교 공과대학 컴퓨터공학부 유경인 박사과정 / gyeongin@snu.ac.kr