AI Toolkit의 모델 플레이그라운드
AI Toolkit 플레이그라운드는 생성형 AI 모델을 실험할 수 있는 대화형 환경을 제공합니다. 다양한 프롬프트를 테스트하고, 모델 매개변수를 조정하고, 다른 모델의 응답을 비교하고, 다양한 유형의 입력 파일을 첨부하여 멀티모달 기능을 탐색할 수 있습니다.
플레이그라운드에서 모델 테스트
플레이그라운드 액세스 방법
- AI Toolkit 보기에서 도구 > 플레이그라운드를 선택하세요.
- 모델 카탈로그의 모델 카드에서 플레이그라운드에서 시도를 선택하세요.
- 내 모델에서 모델을 더블 클릭하여 플레이그라운드에서 열어보세요.
플레이그라운드에서 모델을 테스트하려면 다음 단계를 따르세요.
- 모델 설정에서 드롭다운 목록에서 모델을 선택하세요.
- 선택 사항으로, 모델 응답을 안내하는 시스템 프롬프트를 추가하세요.
- 선택 사항으로, 선택한 모델에 대해 사용 가능한 모델 매개변수를 구성하세요.
- 채팅 입력란에 채팅 프롬프트를 입력하세요.
플레이그라운드에서 로컬 모델 실행
AI Toolkit은 플레이그라운드에서 로컬 모델 실행을 지원합니다. 모델 설정 패널의 모델 드롭다운 목록에서 로컬 모델을 선택할 수 있습니다.
GitHub 종량제 모델 지원
AI Toolkit은 이제 GitHub 종량제 모델을 지원하므로 무료 등급 한도를 초과해도 계속 작업할 수 있습니다.
-
GitHub 모델 사용 한도에 도달하면 AI Toolkit에 경고가 표시되고 GitHub의 유료 사용량 설명서로 연결되는 링크가 제공됩니다.
-
GitHub 설정에서 모델에 대한 결제를 활성화하세요 (GitHub 계정에 로그인해야 합니다).
-
결제를 활성화한 후 워크플로를 변경하지 않고 플레이그라운드 또는 에이전트 빌더에서 계속 사용하세요.
모델 설정
모델 설정 패널을 사용하면 플레이그라운드 상호 작용을 위한 모델을 선택하고, 모델의 동작을 안내하기 위한 시스템 프롬프트를 설정하고, 선택한 모델에 대한 모델 매개변수를 구성할 수 있습니다.
모델 선택
모델 설정 패널의 드롭다운 목록에는 AI Toolkit에 추가한 모델이 표시됩니다. 모델 찾아보기를 선택하여 모델 카탈로그를 열고 더 많은 모델을 추가할 수 있습니다.
시스템 프롬프트
시스템 프롬프트는 모델의 동작 및 응답 스타일을 안내하는 사전 정의된 지침입니다. 모델이 응답을 생성하는 방식에 영향을 미치기 위해 입력 텍스트 영역에서 시스템 프롬프트를 추가, 편집 또는 삭제할 수 있습니다.
추론 매개변수 구성
사용 가능한 매개변수는 모델 유형 및 게시자에 따라 다릅니다. 일반적인 매개변수는 다음과 같습니다.
- 온도: 모델 출력의 무작위성을 제어합니다. 값이 낮을수록 출력이 더 결정론적이 됩니다. 값이 높을수록 변동성이 커집니다.
- Top P: 선택된 토큰의 누적 확률을 제한하여 출력의 다양성을 제어합니다. 값이 낮을수록 더 집중된 응답이 생성됩니다. 값이 높을수록 더 다양한 출력이 가능합니다.
- 최대 응답 길이(토큰): 모델 응답의 최대 토큰 수를 설정합니다. 생성된 텍스트의 길이를 제한합니다.
- 빈도 페널티: 모델이 응답에서 동일한 토큰을 반복할 가능성을 줄입니다. 값이 높을수록 반복을 억제합니다.
- 존재 페널티: 모델이 응답에서 새로운 주제나 개념을 도입하도록 장려합니다. 값이 높을수록 생성된 텍스트의 다양성을 촉진합니다.
채팅 프롬프트
채팅 프롬프트는 모델에 제공하는 입력 텍스트입니다. 모델이 응답하기를 원하는 질문, 문장 또는 텍스트를 입력할 수 있습니다. 모델은 제공된 프롬프트와 구성된 시스템 프롬프트 및 매개변수를 기반으로 응답을 생성합니다.
채팅 프롬프트 입력란의 사용 가능한 기능
- 보내기: 처리를 위해 채팅 프롬프트를 모델에 제출합니다.
- 지우기: 채팅 프롬프트 입력란을 지웁니다.
- 파일 첨부: 멀티모달 모델의 경우 채팅 프롬프트에 파일을 첨부합니다.
- 이미지 첨부: 멀티모달 모델의 경우 채팅 프롬프트에 이미지를 첨부합니다.
- 웹 검색: 채팅 프롬프트와 관련된 정보를 찾기 위해 웹 검색을 수행합니다.
- 모드 전환: AI 기능을 사용하는 다른 모드 간에 전환합니다.
모드 전환
채팅 프롬프트 입력란에서 다른 모드 간에 전환할 수 있습니다.
- 모델의 네이티브 지원 AI 기능 사용: 이 모드를 사용하면 웹 검색 또는 파일 첨부와 같이 선택한 모델의 네이티브 기능을 사용할 수 있습니다.
- 모든 AI 기능 사용: 이 모드를 사용하면 파일 첨부와 같이 AI Toolkit에서 구현한 AI 기능을 모델의 네이티브 기능과 상관없이 사용할 수 있습니다.
기능이 선택한 모델 또는 AI Toolkit에서 지원되지 않는 경우 채팅 프롬프트 입력란 위에 경고가 표시됩니다. 이 경고는 해당 기능을 지원하는 다른 모델로 전환하도록 권장합니다.
모델 응답
모델 응답은 채팅 프롬프트 입력란 위에 표시됩니다. 채팅 프롬프트를 입력하기 전에 플레이그라운드에서는 시작하기 위한 세 가지 시작 프롬프트가 있는 환영 화면을 표시합니다.
모델 응답 영역의 사용 가능한 기능
- 응답 복사: 모델의 응답 텍스트를 클립보드로 복사합니다.
- 응답 다시 생성: 동일한 프롬프트를 기반으로 모델의 응답을 다시 생성하거나 다른 모델로 응답을 다시 생성합니다.
- 코드 복사: 응답에서 생성된 코드를 클립보드로 복사하거나 새 파일에 삽입합니다.
- 렌더링: 플레이그라운드는 모델 응답에서 코드 조각, 이미지, 마크다운, LaTex 및 기타 콘텐츠를 렌더링하는 것을 지원합니다.
- 토큰 수: 모델 응답에 사용된 토큰 수를 표시합니다. 이는 모델의 비용 및 성능을 이해하는 데 도움이 됩니다.
도구 모음
플레이그라운드의 도구 모음은 다양한 작업 및 기능에 대한 빠른 액세스를 제공합니다: 
- 새 플레이그라운드: 새 플레이그라운드 세션을 만듭니다.
- 기록: 채팅 기록을 보고, 이름을 바꾸고, 삭제하고, 전환합니다.
- 자동 이름 지정: 채팅 세션의 이름은 사용자 프롬프트를 기반으로 자동으로 생성됩니다.
- 비교: 다른 모델의 응답을 나란히 비교합니다.
- 코드 보기: LLM 통합에서 채팅 프롬프트에 대한 생성된 코드를 봅니다.
모델 응답 비교
비교 기능은 다른 모델의 응답을 나란히 비교할 수 있게 해줍니다. 이는 동일한 프롬프트에 대한 다른 모델의 성능을 평가하는 데 유용합니다.
모델 응답 비교 방법
- 도구 모음에서 비교 버튼을 선택하세요.
- 드롭다운 목록에서 비교할 모델을 선택하세요.
- 입력란 중 하나에 동일한 채팅 프롬프트를 입력합니다. 프롬프트가 다른 입력란으로 복사됩니다.
- 보내기를 선택하여 선택한 모든 모델에 프롬프트를 제출합니다.
- 각 모델의 응답이 나란히 표시되어 쉽게 비교할 수 있습니다.
비교 중인 각 모델에 대해 다음을 수행할 수 있습니다.
- 응답 텍스트를 클립보드로 복사합니다.
- 선택한 모델의 모델 매개변수를 구성합니다.
- 선택한 모델과 채팅을 계속합니다.
학습 내용
이 문서에서는 다음 방법을 배웠습니다.
- AI Toolkit 플레이그라운드를 사용하여 생성형 AI 모델과 상호 작용하세요.
- 플레이그라운드에서 모델을 테스트하고, 시스템 프롬프트 및 매개변수를 구성하고, 파일을 첨부하여 멀티모달 기능을 탐색하세요.
- 비교 기능을 사용하여 동일한 프롬프트에 대한 다른 모델의 성능을 평가하고 응답을 나란히 확인하세요.
- 채팅 프롬프트 입력란을 사용하여 프롬프트를 보내고, 파일이나 이미지를 첨부하고, 웹 검색을 수행하고, AI 기능에 대한 모드 간에 전환하세요.
- 모델 응답을 보고, 응답을 복사하거나 다시 생성하고, 코드 조각, 이미지, 마크다운 및 LaTeX를 렌더링하세요.
- 모델 응답에서 토큰 수를 추적하여 비용과 성능을 이해하세요.
- 모델 설정 패널을 사용하여 모델을 선택하고, 시스템 프롬프트를 설정하고, 추론 매개변수를 조정하세요.
- 도구 모음을 사용하여 새 플레이그라운드 세션을 만들고, 채팅 기록을 보고 관리하고, 세션 이름을 자동으로 지정하고, 모델을 비교하고, 생성된 코드를 확인하세요.
- 세션 보기, 이름 바꾸기, 삭제 및 전환을 포함한 채팅 기록을 관리하세요.