광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
로고

[인공지능] 알리바바는 중국의 학계 연구원들과 협력하여 '과거' 또는 구식 정보에 얽매이지 않는 새로운 순위 모델을 개발하기 위해 전자상거래 거대 기업의 라이브 인프라에서 얻은 실제 데이터를 사용하는 검색엔진 시뮬레이션 AI를 개발했다. AESim 이라는 엔진은 AI시스템이 모델이 훈련될 때 사용 가능한 데이터를 추상화하는 대신 실시간 및 현재 데이터를 평가하고 통합할 수 있어야 한다는 필요성을 인정하기 위해 일주일 만에 두 번째 주요 발표를 나타낸다

박민제 | 기사입력 2021/07/21 [11:01]

[인공지능] 알리바바는 중국의 학계 연구원들과 협력하여 '과거' 또는 구식 정보에 얽매이지 않는 새로운 순위 모델을 개발하기 위해 전자상거래 거대 기업의 라이브 인프라에서 얻은 실제 데이터를 사용하는 검색엔진 시뮬레이션 AI를 개발했다. AESim 이라는 엔진은 AI시스템이 모델이 훈련될 때 사용 가능한 데이터를 추상화하는 대신 실시간 및 현재 데이터를 평가하고 통합할 수 있어야 한다는 필요성을 인정하기 위해 일주일 만에 두 번째 주요 발표를 나타낸다

박민제 | 입력 : 2021/07/21 [11:01]

 

 

알리바바, 라이브 데이터를 사용하는 검색 엔진 시뮬레이션 AI 개발

 

 

알리바바는 중국의 학계 연구원들과 협력하여 '과거' 또는 구식 정보에 얽매이지 않는 새로운 순위 모델을 개발하기 위해 전자상거래 거대 기업의 라이브 인프라에서 얻은 실제 데이터를 사용하는 검색엔진 시뮬레이션 AI를 개발했다.

AESim 이라는 엔진은 AI시스템이 모델이 훈련될 때 사용 가능한 데이터를 추상화하는 대신 실시간 및 현재 데이터를 평가하고 통합할 수 있어야 한다는 필요성을 인정하기 위해 일주일 만에 두 번째 주요 발표를 나타낸다. 이전 발표는 Facebook이 지난 주 에 쿼리에 대한 응답으로 인터넷 검색 결과의 실시간 폴링을 특징으로 하는 NLP 인터페이스인 BlenderBot 2.0 언어 모델을 공개 한 것이다.

AESim 프로젝트의 목적은 상업정보검색 시스템에서 새로운 LTR (Learning-To-Rank ) 솔루션, 알고리즘 및 모델 의 개발을 위한 실험 환경을 제공하는 것이다. 연구원들은 프레임워크를 테스트하면서 유용하고 실행 가능한 매개변수 내에서 온라인 성능을 정확하게 반영한다는 것을 발견했다.

최근 유사한 사업의 실패: 난징대학 및 LTR시뮬레이션에 대한 새로운 접근방식은 2가지 이유로 필요하다고 알리바바의 연구 부문, 논문의 저자, 딥러닝 관심 호우로 재현 기술을 만들 수있는  적용가능한 실제 시스템 으로 변환하지 못하는 알고리즘 획득 시스템이 처음에 더 효과적이었던 경우 훈련 데이터와 새로운 데이터의 성능 측면을 연구하게되었다.

라이브 시작

논문은 AESim이 실시간 및 현재 사용자 및 활동 데이터를 기반으로 하는 최초의 전자상거래 시뮬레이션 플랫폼이며 실시간 데이터를 일방적으로 사용하여 온라인 성능을 정확하게 반영할 수 있어 후대 연구원들에게 푸른 하늘 교육놀이터를 제공한다고 주장한다. LTR 방법론과 혁신을 평가한다.

이 모델은 산업용 검색엔진에 대한 일반적인 스키마에 대한 새로운 해석을 통합한다. 첫 번째 단계는 사용자의 쿼리와 관련된 항목을 검색하는 것이다. 이 항목은 처음에 사용자에게 표시되지 않고 가중치가 적용된 LTR 모델에 따라 먼저 정렬된다. 그런 다음 정렬된 결과는 결과를 제공하는 회사의 목표(광고 및 다양성 요소를 포함할 수 있는 목표)를 고려하는 필터를 통과한다.

AESim의 아키텍처

AESim에서 쿼리는 카테고리 인덱스로 대체되어 시스템이 카테고리 인덱스에서 항목을 검색한 후 최종 목록을 생성하는 사용자 지정 가능한 재순위 지정기로 전달할 수 있다. 프레임워크를 통해 연구자는 여러 모델에서 공동 순위의 효과를 연구할 수 있지만 이 측면은 향후 작업으로 남겨두고 현재 구현은 단일 모델을 기반으로 이상적인 평가를 자동으로 찾는다.

AESim의 아키텍처.  출처: https://arxiv.org/pdf/2107.07693.pdf

AESim의 아키텍처. 출처: https://arxiv.org/pdf/2107.07693.pdf

AESim은 '가상 사용자'와 쿼리를 캡슐화하는 임베딩( 머신 러닝 아키텍처 의 가상 표현 )을 생성하고 WGAN-GP (Gradient Penalty ) 접근방식을 사용하는 Wasserstein Generative Adversarial Network를 활용한다 .

이 아키텍처는 범주별로 정렬된 수백만 개의 사용 가능한 항목 데이터베이스, 사용자 지정 가능한 순위 시스템, 피드백 모듈 및 GAN 기반 구성요소에 의해 생성된 합성 데이터 세트로 구성된다. 피드백 모듈은 순위 모델의 최신 반복 성능을 평가할 수 있는 워크플로의 마지막 단계이다.

생성적 적대적 모방 학습

'가상 사용자 모듈'의 결정 로직을 모델링하기 위해 2016년 스탠포드 연구원들이 처음 제안한 이론인 GAIL (Generative Adversarial Imitation Learning)을 통해 피드백 모듈(궁극적인 결과를 제공하는)을 훈련한다 . GAIL은 모델이다. 시스템이 모방학습을 통해 데이터에서 직접 정책 을 개발할 수 있도록 하는 자유 패러다임이다.

AESim에서 개발한 훈련 세트는 본질적으로 유사한 시스템에 대한 이전 지도 학습 모델에 사용된 정적, 과거 데이터 세트와 동일하다. AESim과의 차이점은 피드백을 위해 정적 데이터 세트에 의존하지 않으며 (오래된) 교육 데이터가 컴파일될 때 생성된 항목 순서에 의해 방해받지 않는다는 것이다.

AESim의 생성적 측면은 '가짜' 사용자 및 쿼리 특성을 출력하는 WGAN-GP를 통한 가상 사용자 생성에 중점을 두고 AESim이 액세스할 수 있는 라이브 네트워크에서 제공한 실제 사용자 데이터에서 이 가짜 데이터를 식별하려고 시도한다. .

일반적인 산업 검색 엔진 시뮬레이션에서 가짜 사용자와 실제 사용자의 클라우드 표현.

일반적인 산업 검색 엔진 시뮬레이션에서 가짜 사용자와 실제 사용자의 클라우드 표현.

테스트

연구원들은 시스템에 pair-wise, point-wise  ListMLE 인스턴스를 배포하여 AESim을 테스트했으며 , 각 인스턴스는 re-ranker 알고리즘의 맥락에서 교차하지 않는 무작위 검색 쿼리를 제공해야 했다.

이 시점에서 AESim은 Facebook의 새로운 언어 모델과 거의 동일한 방식으로 빠르게 변화하고 다양한 라이브 데이터에 도전하고 있다. 따라서 결과는 전체 성능의 관점에서 고려되었다.

10일 동안 테스트한 AESim은 세 가지 모델에 걸쳐 놀라운 일관성을 보여주었지만, 연구원들은 DLCM (Document Context Language Model ) 모듈에 대한 추가 테스트가 오프라인 환경에서는 제대로 수행되지 않았지만 라이브 환경에서는 매우 잘 수행 되었다는 점에 주목 하고 다음을 인정했다. 시스템은 테스트 중인 구성 및 모델에 따라 실제 대응물과의 격차를 보여준다.

 

 
광고
광고
광고
광고
광고
광고
광고
많이 본 기사
최신기사