NVIDIA NeMo Agent Toolkit 가이드: 평가·profiling과 tracing

InYourLeague 리서치 · 2026-08-29

Answer in brief

제공된 공식 발췌문으로 확인되는 범위는 NVIDIA NeMo Agent Toolkit 1.8에 평가, 프로파일링 및 성능 모니터링, 워크플로 관측, 데이터셋 로더, 평가기, 토큰 사용량, 텔레메트리 내보내기 도구와 관련된 문서 영역이 있다는 점입니다. 구체적인 명령어, 구성 키, 데이터 형식, 평가기 목록, 생성 파일, 지표 정의, 연동 대상 또는 선택 가능한 모델 ID에 관한 결론은 입증되지 않았으므로, 더 충분한 공식 근거를 확보하기 전에는 게시하지 않아야 합니다.

Key facts at a glance

Failure modes and verification

FAQ

제공된 공식 발췌문으로 무엇을 확인할 수 있습니까?

NVIDIA NeMo Agent Toolkit 1.8에 워크플로 프로파일링 및 성능 모니터링, 워크플로 관측, 평가, 데이터셋 로더, 평가기, 토큰 사용량, 텔레메트리 내보내기 도구와 관련된 문서 영역이 있다는 점을 확인할 수 있습니다. 구체적인 구성이나 실행 동작은 확인되지 않습니다.

기본 제공되는 평가 데이터셋 형식은 무엇입니까?

제공된 근거에는 기본 데이터 형식이 나열되어 있지 않습니다. 데이터셋 로더 API 이름은 보이지만 형식, 구조, 열 매핑, 처리 규칙을 게시하려면 이를 직접 뒷받침하는 공식 문장이 필요합니다.

어떤 내장 및 사용자 정의 평가기가 지원됩니까?

발췌문에는 평가기 관련 탐색 항목과 API 이름이 표시되지만, 내장 평가기 목록이나 사용자 정의 평가기의 구현 및 등록 방법은 없습니다. 현재 근거만으로 구체적인 목록을 제시하면 검증 범위를 벗어납니다.

재현을 위한 실제 적용 구성이 자동으로 생성됩니까?

그 동작은 제공된 발췌문으로 확인되지 않습니다. 편집상 재현성을 확보하려면 제출한 구성, 재정의 값, 툴킷 버전, 데이터셋 버전, 평가기 버전, 실행 환경 정보를 보존하되, 확인되지 않은 파일 이름이나 자동 생성 동작을 제품 기능으로 표현하지 않아야 합니다.

어떤 지연 시간, 토큰 및 병목 분석 산출물이 문서화되어 있습니까?

프로파일링 페이지의 제목과 nat.data_models.token_usage API 이름은 확인됩니다. 그러나 지표 필드, 단위, 보고서, 파일 이름, 병목 분석 알고리즘은 발췌문에 없으므로 더 충분한 공식 근거가 필요합니다.

어떤 텔레메트리 내보내기 도구와 연동 대상이 지원됩니까?

관측 관련 자료에는 “Telemetry Exporter” 항목과 nat.data_models.telemetry_exporter가 표시됩니다. 개별 제공자, 전송 방식, 구성 키, 패키지 요구 사항, 비동기 처리 또는 여러 내보내기 도구의 동시 실행은 확인되지 않습니다.

이 근거로 선택 가능한 모델 ID가 없다고 결론 내릴 수 있습니까?

아니요. 발췌문은 제품 수준의 모델 목록을 제시하지 않지만, 다른 공식 문서에도 그런 목록이 없다는 사실까지 입증하지는 않습니다. 따라서 현재 근거만으로 모델 제공 여부에 관한 긍정적 또는 부정적 주장을 해서는 안 됩니다.

Sources and freshness

• Official source
• Official source
• Last verified: 2026-08-29

Extended guide

이번 개정본은 제공된 공식 발췌문에서 직접 확인되는 사실만 제품 기능으로 서술합니다. 확인된 문서 구조와 추가 근거가 필요한 실행 세부 사항을 명확히 구분했습니다. 검토 대상은 nvidia-nemo-agent-toolkit이며 편집 검토일은 2026-08-29입니다. 제공된 두 페이지에는 모두 NVIDIA NeMo Agent Toolkit 1.8이라고 표시되어 있습니다.

확인된 근거의 범위

• 공식 프로파일링 페이지의 제목은 “Profiling and Performance Monitoring of NVIDIA NeMo Agent Toolkit Workflows”입니다. 탐색 메뉴에는 “Evaluate Workflows” 영역도 표시됩니다.
• 공식 관측 페이지의 제목은 “Observe Workflows”입니다. 탐색 메뉴에는 “Telemetry Exporter” 확장 항목이 있습니다.
• 발췌된 API 색인에는 nat.builder.dataset_loader, nat.builder.evaluator, nat.data_models.profiler, nat.data_models.profiler_callback, nat.data_models.token_usage, nat.data_models.telemetry_exporter 같은 이름이 표시됩니다. 이 이름으로 관련 API 영역의 존재는 확인할 수 있지만, 허용되는 값이나 실제 실행 동작까지 확인할 수는 없습니다.

제공된 발췌문만으로는 nat eval, eval.general.dataset, eval.evaluators, general.telemetry를 검증할 수 없습니다. 데이터셋 형식, 내장 평가기 목록, 평가 지표, 사용자 정의 평가기의 등록 절차, 실제 적용 구성 파일, 프로파일러 산출물, 지연 시간 및 토큰 필드, 병목 분석 알고리즘, 신뢰구간, 내보내기 대상, 선택 패키지, 동시 실행 방식도 확인되지 않습니다. 이는 제공된 근거의 한계를 뜻하며, 제품에 해당 기능이 없다는 뜻은 아닙니다.

게시 가능한 평가 및 프로파일링 계획

1. 평가 입력을 정의합니다. 데이터셋 버전, 레코드 구조, 워크플로 입력 필드, 기대 출력, 제외 조건을 기록합니다. 특정 형식이나 로더를 기본 제공 기능이라고 소개하려면, 그 이름을 명시한 공식 문장부터 확보해야 합니다.

2. 평가기별 조건을 문서화합니다. 내장 평가기와 프로젝트 전용 평가기를 구분하되, 공식 문서나 소스에서 확인하기 전에는 구체적인 이름, 지표, 의존성, 등록 절차를 게시하지 않습니다. 결과를 책임 있게 비교할 수 있도록 채점 규칙과 버전도 함께 기록합니다.

3. 재현에 필요한 근거를 보존합니다. 제출한 구성, 명령줄 재정의 값, 툴킷 버전, 데이터셋 버전, 평가기 버전, 관련 실행 환경 정보를 보관합니다. 직접적인 근거가 없다면 툴킷이 실제 적용 구성이나 특정 이름의 파일을 자동 생성한다고 단정하지 않습니다.

4. 지표의 정의를 확인한 뒤 프로파일링합니다. 페이지 제목을 통해 워크플로 프로파일링과 성능 모니터링이 공식 문서의 주제라는 점은 확인됩니다. 그러나 측정값을 게시하기 전에는 각 지연 시간, 실행 시간, 처리량, 토큰 값의 단위, 집계 방식, 측정 범위, 근거 산출물을 공식 설명과 대조해야 합니다.

5. 관측 및 내보내기 설정을 검증합니다. 관측 페이지와 텔레메트리 내보내기 API 이름을 근거로 관측 가능성을 개괄적으로 언급할 수 있습니다. 개별 제공자 이름, 구성 키, 전송 방식, 필수 패키지, 전달 보장은 각각 공식 근거를 확인한 뒤 지원 기능으로 소개해야 합니다.

6. 검증된 데이터로 병목을 분석합니다. 공식적으로 확인된 출력에 요청 지연 시간, 호출별 실행 시간 또는 토큰 사용량이 포함된다면 전체 실행 시간과 개별 작업을 비교하고, 단일 평균값보다 분포와 예외값을 함께 살펴봅니다. 원인에 관한 판단은 분석 결과로 표현해야 하며, 툴킷이 보장하는 동작처럼 서술해서는 안 됩니다.

근거 상태표

게시 승인 기준

모든 명령어, 구성 키, 허용 값, 파일 이름, 지표 정의, 연동 대상에 이를 직접 뒷받침하는 공식 문장이 있을 때만 구체적인 사용 지침을 게시합니다. 인용 링크는 해당 주장을 뒷받침하는 문장 가까이에 배치합니다. 이 두 발췌문만으로는 제품 수준의 모델 선택 가능 여부에 관해 결론을 내려서는 안 됩니다.

모델 제공 범위 안내: 공식 출처는 선택 가능한 모델 ID를 지정하지 않습니다.