'온디바이스AI' 동참한 애플, 생성형AI 모델 공개

'온디바이스AI' 동참한 애플, 생성형AI 모델 공개…성능은

생성형AI 모델 '오픈ELM', OLMo의 학습토큰 절반으로 더 나은 성과 달성

컴퓨팅입력 :2024/04/25 13:34

온디바이스 인공지능(AI) 경쟁에 참여한 애플이 오픈소스 생성형AI 모델을 공개했다.

24일(현지시간) 벤처비트 등 외신에 따르면 애플은 생성형AI 모델 오픈ELM을 허깅페이스를 통해 출시했다.

오픈ELM은 클라우드 서버에 연결할 수 없는 환경에서도 제한된 학습데이터만으로 충분한 성능을 낼 수 있도록 개발된 온디바이스용으로 언어모델이다. 사전 훈련된 4개와 명령 조정된 4개 등 총 8개의 모델로 이뤄져 있다. 각 모델은 최소 2억 7천만에서 4억 5천만, 11억, 30억 개 매개변수로 학습을 거쳤다.

애플이 오픈소스 AI모델 오픈ELM을 공개했다(이미지=허깅페이스)

애플은 적은 데이터로도 높은 정확성을 달성하기 위해 트랜스포머 모델에서 파라미터를 보다 효율적으로 할당하는 레이어별 스케일링 기술을 적용했다. 각 레이어가 동일한 파라미터 세트를 갖는 대신, 오픈ELM의 트랜스포머 레이어는 다른 구성과 파라미터를 갖게 된다. 

애플이 공개한 내용에 따르면 OLMo와 비교한 결과 오픈ELM이 사전 훈련 토큰을 절반만 사용해도 2.36 퍼센트 더 높은 정확성을 기록했다. 다만 온디바이스AI 모델을 주도하고 있는 마이크로소프트의 파이-3(Phi-3)에 비해서는 아직 성능이 부족한 것으로 나타났다.

오픈ELM은 노트북이나 스마트폰에서 사용하는 것을 목표로 개발됐다. 특히 MLX 라이브러리를 통해 애플의 실리콘 기반 기기에서 직접 추론 및 미세 조정할 수 있는 기능을 지원한다.

애플은 새로운 AI모델과 함께 AI학습을 위한 사전 훈련, 평가, 명령 미세 조정을 위한 도구를 공했으며 훈련별 체크포인트, 모델 성능에 대한 통계, 매개변수 효율성에 대한 지침도 함께 공개했다.