실수 1: 모든 'uncensored' 모델이 동일한 정도로 제한되지 않았다고 가정하기
'uncensored AI(무검열 AI)'라는 용어는 종종 필터가 완화된 모델을 설명하는 데 느슨하게 사용됩니다. 일부 모델은 여전히 특정 주제에 대한 하드 분류기를 유지하는 반면, 다른 모델은 실제로 오픈 웨이트이며 최소 거부용으로 조정됩니다. 이러한 변이로 인해 통합은 하나의 모델에서는 완벽하게 작동하지만 다른 모델에서는 예상치 못한 거부에 부딪힐 수 있습니다. 라우팅하는 모델의 특정 동작을 항상 확인하십시오.
합법적인 성인 또는 논쟁적인 주제를 거부하지 않는 단일 진정한 비검열 모델을 제공합니다. 이는 모델 라우팅의 추측을 없애줍니다. 숨겨진 가드레일에 대한 걱정 없이 모든 요청에서 일관된 동작을 얻습니다.
실수 2: 100k 토큰 컨텍스트 윈도우 제한 무시하기
프롬프트의 총 토큰 수와 생성된 응답의 토큰 수가 모델의 한도를 초과하면 통합이 실패합니다. 많은 개발자가 클라이언트를 구성하여 100k 토큰을 보내지만, 모델이 응답을 생성할 여지가 필요하다는 것을 잊습니다. 컨텍스트 윈도우가 100,000 토큰인 경우, 출력에 대한 공간을 확보해야 합니다. 너무 큰 프롬프트를 보내면 즉시 오류가 발생하거나 잘립니다.
프롬프트와 완료를 합쳐 100,000개의 토큰 컨텍스트 윈도우를 지원합니다. 이는 광범위한 대화 기록이나 긴 문서를 처리할 수 있게 해줍니다. 요청 전에 남은 토큰 수를 코드가 올바르게 계산했는지 확인하세요. 이 제한을 초과하면 거절된 요청에 대해 비용이 낭비됩니다.
실수 3: max_tokens와 컨텍스트 길이를 혼동하기
컨텍스트 길이는 모델이 읽을 수 있는 역사의 양을 정의합니다. 최대 토큰 수는 모델이 작성할 수 있는 텍스트의 양을 정의합니다. 이 두 제한은 독립적입니다. 컨텍스트 창이 크더라도 최대 출력은 작을 수 있습니다. max_tokens를 너무 낮게 설정하면 답변이 잘립니다. 너무 높게 설정하면 모델이 불필요한 텍스트를 생성하여 과금될 위험이 있습니다.
당사의 무검열 LLM은 요청당 최대 16,000개의 토큰 출력을 지원합니다. max_tokens을 설정하지 않으면 기본값은 2,048개의 토큰입니다. 이 기본값은 복잡한 추론 작업에는 종종 너무 짧습니다. 예상 응답 길이에 맞게 매개변수를 명시적으로 설정하세요. 이는 잘린 JSON이나 불완전한 코드 블록을 방지합니다.
실수 4: 스트리밍 vs. 비스트리밍 토큰 수 간과하기
스트리밍 응답은 토큰을 순차적으로 제공합니다. 비스트리밍 응답은 전체 완료를 기다립니다. 토큰 사용량은 종종 스트림의 마지막 청크에서 보고됩니다. 클라이언트가 마지막 청크를 무시하면 정확한 청구 데이터를 잃게 됩니다. 이는 비싼 요청의 디버깅을 어렵게 만듭니다.
마지막 청크에 토큰 사용량을 포함하는 SSE 스트리밍을 제공합니다. 파서가 이 마지막 이벤트를 캡처하도록 보장하세요. 비스트리밍 요청도 응답 본문에 사용량 데이터를 포함합니다. 더 나은 사용자 경험을 위해 스트리밍을 사용하지만 사용량을 올바르게 추적하세요. 마지막 청크를 놓치면 비용이 과소 보고됩니다.
실수 5: 모든 콘텐츠 유형에 대한 거부 제로 기대하기
Uncensored(검열 없음)은 무제한을 의미하지 않습니다. 대부분의 모델은 여전히 미성년자 관련 성 콘텐츠에 대한 하드 제한을 적용합니다. 이는 오픈 가중치 모델에서도 표준적인 안전 기준입니다. 이 규칙을 위반하는 프롬프트를 보내면 API가 거부를 반환합니다. 이는 버그가 아니라 정책 시행입니다.
당사의 API는 미성년자와 관련된 성적인 내용이 포함된 요청을 거부합니다. 그 외 모든 합법적인 성인 콘텐츠는 허용됩니다. 이 엄격한 제한은 프롬프트 스타일에 관계없이 적용됩니다. 모든 거부가 모델 문제라고 가정하지 마세요. 먼저 콘텐츠가 이 특정 제약 조건과 일치하는지 확인하세요.
실수 6: 창의적 작업과 코딩 작업에 다른 온도 설정을 사용하지 않기
Temperature는 무작위성을 제어합니다. 높은 값은 창의성을 높이지만 정밀도를 낮춥니다. 낮은 값은 출력을 결정적이고 정밀하게 만듭니다. 코드 생성에 높은 온도를 사용하면 구문 오류가 발생할 수 있습니다. 창의적 작문에 낮은 온도를 사용하면 텍스트가 반복적이고 단조로워집니다.
작업에 따라 온도를 조정합니다. 함수 호출 또는 JSON 모드에는 낮은 값을 사용하고, 이야기 생성 또는 브레인스토밍에는 높은 값을 사용합니다. 우리의 uncensored LLM은 이러한 조정에 잘 반응합니다. 사용 사례에 맞는 올바른 균형을 찾기 위해 다양한 값을 테스트하십시오.
실수 7: 초기에 JSON 모드 출력 구조를 테스트하지 않기
LLM은 데이터베이스가 아닙니다. 그들은 JSON처럼 보이는 텍스트를 생성합니다. 모델이 추가 텍스트나 잘못된 구문을 출력하면 오류가 발생합니다. 출력을 검증하지 않으면 파싱이 실패합니다. 모델이 매번 완벽한 JSON을 생성한다고 믿는 것은 위험합니다. 항상 유효하지 않은 JSON에 대한 재시도 메커니즘을 구현하십시오.
response_format json_object를 통해 JSON 모드를 지원합니다. 이 설정은 모델이 유효한 JSON을 출력하도록 강제합니다. 빈 객체나 누락된 필드가 생성될 수 있으므로 데이터를 사용하기 전에 구조를 검증하세요. 이는 파이프라인 후반부의 디버깅 시간을 절약합니다.
실수 8: 크레딧이 구독처럼 만료된다고 가정하기
많은 API 제공업체는 만료되는 월 구독료를 부과합니다. 당사 모델은 다릅니다. 사용한 만큼 지불합니다. 선불 크레딧은 만료되지 않습니다. 100달러를 충전하면 해당 잔액은 무기한으로 유지됩니다. 이는 간헐적인 프로젝트나 장기 저장에 이상적입니다. 기다린다고 해서 돈을 잃지 않습니다.
실제 토큰 사용량에 따라 요금이 부과됩니다. 오류 및 거절된 요청은 무료입니다. 즉, 성공적으로 완료된 요청에 대해서만 요금이 부과됩니다. 암호화폐로만 충전하세요. 월 요금이 없으므로 예상치 못한 요금이 없습니다. 예측 가능한 장기 비용을 위해 선불 모델을 사용하세요.
