AI Toolkit FAQ

모델

원격 모델 엔드포인트 및 인증 헤더는 어떻게 찾나요?

일반적인 OpenAI 서비스 제공업체에서 엔드포인트와 인증 헤더를 찾는 방법에 대한 몇 가지 예시입니다. 다른 제공업체의 경우 채팅 완료 엔드포인트 및 인증 헤더에 대한 문서를 참조하십시오.

예시 1: Azure OpenAI

1. 배포 블레이드에서 Azure OpenAI Studio로 이동하여 배포를 선택합니다(예: gpt-4o). 아직 배포가 없는 경우, 배포 생성 방법에 대한 Azure OpenAI 설명서를 확인하십시오.

   

2. 엔드포인트 섹션의 대상 URI 필드에서 채팅 완료 엔드포인트를 검색합니다.

   

3. 엔드포인트 섹션의 키 속성에서 API 키를 가져옵니다.

   API 키를 복사한 후 AI Toolkit의 인증 헤더에 대해 api-key: <YOUR_API_KEY> 형식으로 추가합니다. 인증 헤더에 대해 자세히 알아보려면 Azure OpenAI 서비스 설명서를 참조하십시오.

예시 2: OpenAI

1. 현재 채팅 완료 엔드포인트는 https://api.openai.com/v1/chat/completions로 고정되어 있습니다. 자세한 내용은 OpenAI 설명서를 참조하십시오.

2. OpenAI 설명서의 API 키 또는 프로젝트 API 키를 선택하여 API 키를 생성하거나 검색합니다.

   API 키를 복사한 후 AI Toolkit의 인증 헤더에 대해 Authorization: Bearer <YOUR_API_KEY> 형식으로 채웁니다. 자세한 내용은 OpenAI 설명서를 참조하십시오.

   

엔드포인트 URL 또는 인증 헤더를 편집하는 방법은 무엇인가요?

잘못된 엔드포인트 또는 인증 헤더를 입력하면 추론에 오류가 발생할 수 있습니다.

1. VS Code setting.json 파일을 엽니다.

   • 인증 오류 알림에서 settings.json 편집을 선택합니다.

     

   • 또는 명령 팔레트(⇧⌘P (Windows, Linux Ctrl+Shift+P))에서 사용자 설정 열기(JSON)을 입력합니다.

2. windowsaistudio.remoteInfereneEndpoints 설정을 검색합니다.

3. 기존 엔드포인트 URL 또는 인증 헤더를 편집하거나 제거합니다.

   

   설정을 저장하면 트리 보기 또는 플레이그라운드의 모델 목록이 자동으로 새로 고쳐집니다.

OpenAI o1-mini 또는 OpenAI o1-preview의 대기자 명단에 어떻게 가입할 수 있나요?

OpenAI o1 시리즈 모델은 추론 및 문제 해결 작업을 더 높은 집중력과 능력으로 처리하도록 특별히 설계되었습니다. 이 모델은 사용자의 요청을 처리하고 이해하는 데 더 많은 시간을 소비하여 과학, 코딩, 수학 및 유사한 분야에서 뛰어난 성능을 발휘합니다. 예를 들어, o1은 의료 연구자가 세포 시퀀싱 데이터를 주석 처리하는 데 사용될 수 있고, 물리학자가 양자 광학에 필요한 복잡한 수학 공식을 생성하는 데 사용될 수 있으며, 모든 분야의 개발자가 다단계 워크플로를 구축하고 실행하는 데 사용될 수 있습니다.

OpenAI o1-mini 또는 OpenAI o1-preview를 찾아 대기자 명단에 가입하려면 GitHub 모델 마켓을 방문하십시오.

내 모델이나 Hugging Face의 다른 모델을 사용할 수 있나요?

자체 모델이 OpenAI API 계약을 지원하는 경우 클라우드에 호스팅하고 사용자 지정 모델로 AI Toolkit에 모델을 추가할 수 있습니다. 모델 엔드포인트 URL, 액세스 키 및 모델 이름과 같은 주요 정보를 제공해야 합니다.

Fine-tuning

파인튜닝 설정이 많은데, 전부 신경 써야 하나요?

아니요, 기본 설정과 샘플 데이터 세트를 사용하여 테스트를 실행하면 됩니다. 자체 데이터 세트를 선택할 수도 있지만 일부 설정을 조정해야 합니다. 자세한 내용은 파인튜닝 튜토리얼을 참조하십시오.

AI Toolkit은 파인튜닝 프로젝트를 스캐폴딩하지 않습니다.

확장 프로그램을 설치하기 전에 확장 프로그램 필수 구성 요소를 확인하십시오.

NVIDIA GPU 장치가 있지만 필수 구성 요소 검사가 실패합니다.

NVIDIA GPU 장치가 있지만 "GPU가 감지되지 않음" 오류로 필수 구성 요소 검사가 실패하는 경우 최신 드라이버가 설치되었는지 확인하십시오. 드라이버는 NVIDIA 사이트에서 확인하고 다운로드할 수 있습니다.

또한 경로에 설치되었는지 확인하십시오. 확인하려면 명령줄에서 nvidia-smi를 실행하십시오.

프로젝트를 생성했지만 Conda activate가 환경을 찾지 못합니다.

환경 설정에 문제가 있었을 수 있습니다. 워크스페이스 내에서 bash /mnt/[PROJECT_PATH]/setup/first_time_setup.sh를 사용하여 환경을 수동으로 초기화할 수 있습니다.

Hugging Face 데이터 세트를 사용할 때 어떻게 얻나요?

python finetuning/invoke_olive.py 명령을 시작하기 전에 huggingface-cli login 명령을 실행했는지 확인하십시오. 이렇게 하면 데이터 세트를 대신 다운로드할 수 있습니다.

Environment

확장 프로그램이 Linux 또는 다른 시스템에서 작동하나요?

네, AI Toolkit은 Windows, Mac 및 Linux에서 실행됩니다.

WSL의 Conda 자동 활성화를 비활성화하려면 어떻게 해야 하나요?

WSL에서 Conda 설치를 비활성화하려면 conda config --set auto_activate_base false를 실행하십시오. 이렇게 하면 기본 환경이 비활성화됩니다.

현재 컨테이너를 지원하나요?

현재 컨테이너 지원을 작업 중이며 향후 릴리스에서 활성화될 예정입니다.

GitHub 및 Hugging Face 자격 증명이 필요한 이유는 무엇인가요?

프로젝트 템플릿은 GitHub에 호스팅되고 기본 모델은 Azure 또는 Hugging Face에 호스팅됩니다. 이러한 환경은 API에서 액세스하려면 계정이 필요합니다.

Llama2 다운로드 오류가 발생합니다.

Meta의 무역 규정을 준수하기 위해 Llama 2 가입 페이지를 통해 Llama 액세스를 요청해야 합니다.

WSL 인스턴스 내에 프로젝트를 저장할 수 없습니다.

AI Toolkit 작업을 실행할 때 원격 세션이 현재 지원되지 않으므로 WSL에 연결된 상태에서 프로젝트를 저장할 수 없습니다. 원격 연결을 닫으려면 화면 왼쪽 하단에 있는 "WSL"을 선택하고 "원격 연결 닫기"를 선택하십시오.

오류: GitHub API 금지됨

프로젝트 템플릿은 microsoft/windows-ai-studio-templates GitHub 리포지토리에 호스팅되며, 확장 프로그램은 GitHub API를 사용하여 리포지토리 콘텐츠를 로드합니다. Microsoft 내에 있는 경우 Microsoft 조직을 승인해야 이러한 금지 문제를 방지할 수 있습니다.

해결 방법에 대한 자세한 내용은 이 문제를 참조하십시오. 자세한 단계는 다음과 같습니다.

1. VS Code에서 GitHub 계정 로그아웃

2. VS Code 및 AI Toolkit을 다시 로드하면 GitHub에 다시 로그인하라는 메시지가 표시됩니다.

3. 중요: 브라우저의 승인 페이지에서 앱이 Microsoft 조직에 액세스하도록 승인해야 합니다.

   

ONNX 모델을 나열, 로드 또는 다운로드할 수 없습니다.

VS Code 출력 패널에서 AI Toolkit 로그를 확인하십시오. 에이전트 오류 또는 다운로드된 모델 가져오기 실패 메시지가 표시되면 모든 VS Code 인스턴스를 닫고 VS Code를 다시 엽니다.

(*이 문제는 기본 ONNX 에이전트가 예기치 않게 종료되어 발생하며, 위의 단계는 에이전트를 다시 시작하기 위한 것입니다.)*