모델을 ONNX 형식으로 변환

AI Toolkit은 로컬에서 모델을 실행하기 위해 Open Neural Network Exchange (ONNX) 형식을 지원합니다. ONNX는 머신러닝 모델을 표현하기 위한 개방형 표준으로, 다양한 하드웨어 플랫폼에서 모델을 실행할 수 있도록 하는 공통 연산자 세트와 파일 형식을 정의합니다.

Microsoft Foundry 또는 Hugging Face와 같은 다른 카탈로그의 모델을 AI Toolkit에서 사용하려면 먼저 ONNX 형식으로 변환해야 합니다.

이 튜토리얼에서는 Hugging Face 모델을 ONNX 형식으로 변환하고 AI Toolkit에 로드하는 과정을 안내합니다.

환경 설정

Hugging Face 또는 Microsoft Foundry의 모델을 변환하려면 Model Builder 도구가 필요합니다.

환경 설정을 위해 다음 단계를 따르십시오.

1. 장치에 Anaconda 또는 Miniconda가 설치되어 있는지 확인하십시오.

2. Model Builder를 위한 전용 conda 환경을 생성하고 필요한 종속성(onnx, torch, onnxruntime_genai, transformers)을 설치합니다.

   conda create -n model_builder python==3.11 -y
   conda activate model_builder
   pip install onnx torch onnxruntime_genai==0.6.0 transformers
   

   참고: Phi-4-mini와 같은 특정 최신 모델의 경우, GitHub에서 직접 transformers의 최신 개발 버전을 설치해야 할 수도 있습니다.

   pip install git+https://github.com/huggingface/transformers
   

Hugging Face 모델 액세스

Hugging Face 모델에 액세스하는 방법에는 여러 가지가 있습니다. 이 튜토리얼에서는 모델 저장소를 관리하는 방법을 보여주기 위해 huggingface_hub CLI를 예로 사용합니다.

참고: 진행하기 전에 Python 환경이 올바르게 설정되었는지 확인하십시오.

Hugging Face에서 모델 다운로드

1. CLI 설치:

   pip install -U "huggingface_hub[cli]"
   

2. 모델 저장소 다운로드.

3. 다운로드된 저장소의 모든 파일이 변환 중에 사용됩니다.

디렉토리 구조 생성

AI Toolkit은 작업 디렉토리에서 ONNX 모델을 로드합니다.

• Windows: %USERPROFILE%\.aitk\models
• Unix 계열 시스템 (macOS): $HOME/.aitk/models

모델이 올바르게 로드되도록 AI Toolkit의 작업 디렉토리 내에 필요한 4단계 디렉토리 구조를 생성합니다. 예시:

mkdir C:\Users\Administrator\.aitk\models\microsoft\Phi-3.5-vision-instruct-onnx\cpu\phi3.5-cpu-int4-rtn-block-32

이 예시에서 4단계 디렉토리 구조는 microsoft\Phi-3.5-vision-instruct-onnx\cpu\phi3.5-cpu-int4-rtn-block-32입니다.

모델을 ONNX 형식으로 변환

다음 명령을 실행하여 모델을 ONNX 형식으로 변환합니다.

python -m onnxruntime_genai.models.builder -m $modelPath -p $precision -e $executionProvider -o $outputModelPath -c $cachePath --extra_options include_prompt_templates=1

모델을 ONNX 형식으로 변환하기 위한 전체 예시 명령입니다.

python -m onnxruntime_genai.models.builder -m C:\hfmodel\phi3 -p fp16 -e cpu -o C:\Users\Administrator\.aitk\models\microsoft\Phi-3-mini-4k-instruct\cpu\phi3-cpu-int4-rtn-block-32-acc-level-4 -c C:\temp --extra_options include_prompt_templates=1

정밀도 및 실행 공급자에 대한 자세한 내용은 이 튜토리얼을 참조하십시오.

• 정밀도 기본 사항
• 실행 공급자 기본 사항

AI Toolkit에 모델 로드

변환 후 ONNX 모델 파일을 새로 생성된 디렉토리로 이동합니다. AI Toolkit은 활성화 시 이 디렉토리에서 ONNX 모델을 자동으로 로드합니다.

MY MODELS 보기에서 모델을 찾을 수 있습니다. 모델을 사용하려면 이름을 두 번 클릭하거나 TOOLS > Playground를 열고 드롭다운 목록에서 모델을 선택하여 상호 작용을 시작하십시오.

참고: AI Toolkit은 수동으로 추가된 모델을 직접 삭제하는 것을 지원하지 않습니다. 모델을 제거하려면 디렉토리를 수동으로 삭제하십시오.

변환 지원 모델

다음 표는 AI Toolkit에서 ONNX 형식으로 변환을 지원하는 모델 목록입니다.