ความผิดพลาดที่ 1: คิดว่าโมเดล 'uncensored' ทุกตัวถูกปลดปล่อยเหมือนกัน
คำนี้ uncensored AI มักถูกใช้โดยตัวรวมข้อมูลอย่างหลวมๆ เพื่ออธิบายโมเดลที่มีตัวกรองผ่อนคลาย โมเดลบางตัวยังคงมีตัวจำแนกแบบแข็งสำหรับหัวข้อเฉพาะ ในขณะที่อื่นๆ เป็น open-weight จริงๆ และปรับแต่งเพื่อการปฏิเสธน้อยที่สุด ความแปรผันนี้หมายความว่าอินทิเกรชันของคุณอาจทำงานได้ดีกับโมเดลหนึ่ง แต่อาจพบการปฏิเสธที่ไม่คาดคิดกับอีกโมเดลหนึ่ง ควรตรวจสอบพฤติกรรมเฉพาะของโมเดลที่คุณกำลังกำหนดเส้นทางเสมอ
เราให้บริการโมเดล uncensored จริงๆ ที่ไม่ปฏิเสธหัวข้อผู้ใหญ่ที่ถูกต้องตามกฎหมายหรือหัวข้อที่ถกเถียงกัน สิ่งนี้ขจัดความสับสนในการเปลี่ยนเส้นทางโมเดล คุณได้รับพฤติกรรมที่สอดคล้องกันในทุกคำขอโดยไม่ต้องกังวลเกี่ยวกับ guardrails ที่ซ่อนอยู่
ข้อผิดพลาดที่ 2: การละเลยขีดจำกัดหน้าต่างบริบท 100k token
การผสานรวมของคุณล้มเหลวเมื่อโทเค็นทั้งหมดในคำขอรวมกับการตอบสนองเกินขีดจำกัดของโมเดล นักพัฒนาหลายคนกำหนดค่าไคลเอนต์ของพวกเขาให้ส่ง 100k โทเค็นแต่ลืมว่าโมเดลต้องการพื้นที่สำหรับการสร้างการตอบสนอง หากหน้าต่างบริบทคือ 100,000 โทเค็น คุณต้องสำรองพื้นที่สำหรับเอาต์พุต การส่งคำขอที่ใหญ่เกินไปจะส่งผลให้เกิดข้อผิดพลาดทันทีหรือการตัดทอน
เราสนับสนุนหน้าต่างบริบทขนาด 100,000 tokens สำหรับ prompt และ completion รวมกัน ซึ่งอนุญาตให้เก็บประวัติหรือเอกสารยาวได้อย่างกว้างขวาง โปรดตรวจสอบให้แน่ใจว่าโค้ดของคุณคำนวณจำนวน tokens ที่เหลือได้อย่างถูกต้องก่อนแต่ละคำขอ การเกินขีดจำกัดนี้จะทำให้เสียเงินไปกับคำขอที่ถูกระงับ
ข้อผิดพลาดที่ 3: การสับสนระหว่าง max_tokens กับความยาวบริบท
ความยาวบริกกำหนดว่าโมเดลสามารถอ่านประวัติได้มากแค่ไหน Max tokens กำหนดว่าโมเดลสามารถเขียนข้อความได้มากแค่ไหน ขีดจำกัดเหล่านี้เป็นอิสระต่อกัน คุณอาจมีหน้าต่างบริกขนาดใหญ่แต่มีผลลัพธ์สูงสุดเล็กน้อย หากตั้งค่า max_tokens ต่ำเกินไป คำตอบของคุณจะถูกตัดทอน หากตั้งค่าสูงเกินไป อาจเสี่ยงต่อการคิดค่าบริการเกินจำเป็นหากโมเดลสร้างข้อความเติมเต็ม
LLM แบบ uncensored ของเรารองรับ output สูงสุด 16,000 tokens ต่อคำขอ หากคุณไม่ได้ตั้งค่า max_tokens มันจะตั้งค่าเริ่มต้นที่ 2,048 tokens การตั้งค่าเริ่มต้นนี้มักสั้นเกินไปสำหรับงานการให้เหตุผลที่ซับซ้อน ตั้งค่าพารามิเตอร์อย่างชัดเจนให้ตรงกับความยาวของคำตอบที่คาดหวังของคุณ สิ่งนี้ป้องกัน JSON ที่ถูกตัดทอนหรือบล็อกโค้ดที่ไม่สมบูรณ์
ข้อผิดพลาดที่ 4: การละเลยการนับ token ระหว่างสตรีมกับไม่สตรีม
การส่งแบบสตรีมมิ่งส่งโทเค็นแบบเพิ่มทีละน้อย การส่งแบบไม่สตรีมจะรอการเสร็จสิ้นทั้งหมด โดยปกติข้อมูลการใช้โทเค็นจะรายงานในชิ้นสุดท้ายของสตรีม หากไคลเอนต์ของคุณละเลยชิ้นสุดท้าย คุณจะเสียข้อมูลการเรียกเก็บเงินที่แม่นยำ ซึ่งทำให้การดีบักคำขอที่มีต้นทุนสูงทำได้ยาก
เราให้บริการสตรีมผ่าน SSE พร้อมข้อมูลการใช้งานใน chunk สุดท้าย ตรวจสอบให้แน่ใจว่า parser ของคุณจับเหตุการณ์สุดท้ายนี้ คำขอที่ไม่ใช่สตรีมยังรวมถึงข้อมูลการใช้งานใน body ของการตอบกลับ ใช้การสตรีมเพื่อประสบการณ์ผู้ใช้ที่ดีขึ้นแต่ติดตามการใช้งานให้ถูกต้อง การพลาด chunk สุดท้ายนำไปสู่การรายงานต้นทุนที่ต่ำกว่าความเป็นจริง
ข้อผิดพลาดที่ 5: การคาดหวังการปฏิเสธเป็นศูนย์สำหรับประเภทเนื้อหาทั้งหมด
Uncensored ไม่ได้หมายความว่าไม่มีจำกัด โมเดลส่วนใหญ่ยังคงบังคับใช้ข้อจำกัดแข็งRegardingเนื้อหาทางเพศที่เกี่ยวข้องกับเด็ก นี่คือมาตรฐานความปลอดภัยพื้นฐานแม้ในโมเดล open-weight หากคุณส่ง prompt ที่ละเมิดกฎนี้ API จะคืนค่าการปฏิเสธ นี่ไม่ใช่ข้อบกพร่อง แต่เป็นการบังคับใช้นโยบาย
API ของเราปฏิเสธคำขอที่มีเนื้อหาทางเพศที่เกี่ยวข้องกับเด็ก เนื้อหาผู้ใหญ่ที่ถูกต้องตามกฎหมายอื่นๆ อนุญาต ขีดจำกัดแข็งนี้ใช้ไม่ว่ารูปแบบคำขอจะเป็นอย่างไร อย่าสันนิษฐานว่าการปฏิเสธทุกครั้งหมายถึงปัญหาของโมเดล ตรวจสอบเนื้อหาของคุณกับข้อจำกัดเฉพาะนี้ก่อน
ความผิดพลาดที่ 6: ใช้ค่า temperature ผิดสำหรับงานสร้างสรรค์เทียบกับงานเขียนโค้ด
อุณหภูมิควบคุมความสุ่ม ค่าสูงเพิ่มความสร้างสรรค์แต่ลดความแม่นยำ ค่าต่ำทำให้เอาต์พุตมีความเป็นกำหนดเองและแม่นยำ การใช้อุณหภูมิสูงสำหรับการสร้างโค้ดจะนำไปสู่ข้อผิดพลาดทางไวยากรณ์ การใช้อุณหภูมิต่ำสำหรับการเขียนเชิงสร้างสรรค์ทำให้ข้อความซ้ำซากและจืดชืด
ปรับอุณหภูมิตามงานของคุณ ใช้ค่าที่ต่ำกว่าสำหรับการเรียกฟังก์ชันหรือโหมด JSON ใช้ค่าที่สูงกว่าสำหรับการสร้างเรื่องราวหรือระดมความคิด LLM แบบไม่ถูกเซ็นเซอร์ของเราตอบสนองดีต่อการปรับแต่งเหล่านี้ ทดสอบค่าต่างๆ เพื่อหาความสมดุลที่เหมาะสมสำหรับกรณีการใช้งานของคุณ
ความผิดพลาดที่ 7: ไม่ทดสอบโครงสร้างผลลัพธ์ของ JSON mode แต่เนิ่นๆ
LLM ไม่ใช่ฐานข้อมูล พวกมันสร้างข้อความที่ดูเหมือน JSON ข้อผิดพลาดเกิดขึ้นเมื่อโมเดลแสดงข้อความเพิ่มเติมหรือไวยากรณ์ที่ไม่ถูกต้อง การแยกวิเคราะห์จะล้มเหลวหากคุณไม่ตรวจสอบผลลัพธ์ การพึ่งพาโมเดลให้ผลิต JSON ที่สมบูรณ์แบบทุกครั้งมีความเสี่ยง ควรใช้กลไกการลองใหม่สำหรับ JSON ที่ไม่ถูกต้อง
เรารองรับโหมด JSON ผ่าน response_format json_object ซึ่งบังคับให้โมเดลส่งออก JSON ที่ถูกต้อง โมเดลอาจยังสร้างวัตถุว่างหรือฟิลด์ที่ขาดหายไปได้ ควรตรวจสอบโครงสร้างก่อนนำข้อมูลไปใช้ วิธีนี้ช่วยประหยัดเวลาในการดีบักในขั้นตอนถัดไปของกระบวนการ
ความผิดพลาดที่ 8: คาดว่าเครดิตหมดอายุเหมือนการสมัครสมาชิก
ผู้ให้บริการ API หลายคนเรียกเก็บค่าธรรมเนียมรายเดือนที่หมดอายุ โมเดลของเราแตกต่างกัน คุณจ่ายสำหรับสิ่งที่ใช้ เครดิตที่เติมเงินล่วงหน้าไม่หมดอายุ หากคุณเติมเงิน $100 ยอดคงเหลือนี้จะคงอยู่ตลอดไป สิ่งนี้เหมาะสำหรับโครงการแบบเป็นครั้งคราวหรือการจัดเก็บระยะยาว คุณไม่เสียเงินโดยการรอคอย
เราคิดค่าใช้บริการตามจำนวนโทเค็นที่ใช้งานจริง ข้อผิดพลาดและการปฏิเสธบริการไม่คิดเงิน นั่นหมายความว่าคุณจ่ายเฉพาะเมื่อการประมวลผลสำเร็จ เติมเงินด้วยคริปโตเท่านั้น ไม่มีค่าธรรมเนียมรายเดือนหมายถึงไม่มีค่าใช้จ่าย surpresa ใช้โมเดลแบบเติมเงินสำหรับค่าใช้จ่ายระยะยาวที่คาดเดาได้
