Qwen 2.5

Tổng quan

Qwen 2.5 là bộ mô hình ngôn ngữ quy mô lớn mã nguồn mở được phát triển bởi Alibaba Cloud. Có nhiều kích cỡ như 1,5B / 7B / 14B / 72B và tương thích với 29 ngôn ngữ bao gồm tiếng Trung, tiếng Anh và tiếng Nhật. Nó được đặc trưng bởi tính linh hoạt, cho phép nó xử lý mọi thứ từ mã hóa, lý luận toán học, hiểu văn bản dài và xử lý dữ liệu có cấu trúc, khiến nó phù hợp với các tổ chức phát triển đang xem xét "giải pháp thay thế ChatGPT tự lưu trữ" với tiền đề triển khai cho máy chủ của riêng họ và tinh chỉnh. Giấy phép dòng Apache 2.0 (nhiều mẫu ngoại trừ 72B) cho phép sử dụng thương mại nếu đáp ứng các điều kiện.

Các tính năng chính

Phát triển đa kích thước: 7 kích cỡ từ 1.5B đến 72B. Chi phí GPU có thể được tối ưu hóa tùy theo mục đích, chẳng hạn như 7B cho RAG nội bộ và 14B/72B cho các tác vụ yêu cầu suy luận phức tạp. Mẫu 72B đạt điểm chuẩn GPT-4o như MMLU 86.1 và HumanEval 86.6.

Ngữ cảnh văn bản dài 128K mã thông báo: Hỗ trợ đầu ra lên tới 8K mã thông báo. Đây là ứng dụng thiết thực để nhập tài liệu nội bộ 100 trang cùng lúc và thực hiện tóm tắt, hỏi đáp.

Qwen2.5-Math / Qwen2.5-Coder: Phiên bản dành riêng cho toán học đạt 85,9 điểm MATH, khiến nó trở thành một trong những mô hình nguồn mở hàng đầu vào thời điểm đó. Coder hỗ trợ hơn 40 ngôn ngữ lập trình và dễ dàng tích hợp vào tự động đánh giá mã nội bộ.

Qwen2.5-VL: Phiên bản đa phương thức cho phép bạn nhập trực tiếp hình ảnh, video và tệp PDF. Có thể hoàn thành việc trích xuất có cấu trúc OCR hóa đơn, biểu đồ và báo cáo mà không cần xây dựng quy trình OCR riêng.

Biên bản xác minh của ban biên tập

Nhờ so sánh các gói giá đã công bố và các yêu cầu chức năng, lợi thế cạnh tranh của Qwen 2.5 có thể được tóm tắt là ``Chi phí giấy phép 0 yên Nhật + sử dụng thương mại''. Sử dụng API GPT-4o với hiệu suất tương đương và sử dụng 1 triệu mã thông báo mỗi tháng sẽ có giá khoảng 15 USD, nhưng nếu bạn tự lưu trữ Qwen2.5-72B trên AWS g5.12xlarge (khoảng 5,6 USD/giờ), bạn có thể sử dụng không giới hạn với chi phí khoảng 2.000 USD mỗi tháng ngay cả với tỷ lệ sử dụng 50%. Nếu nó được sử dụng cho một chatbot nội bộ liên tục tiêu thụ hơn 5 triệu token mỗi tháng, ước tính khoản đầu tư có thể được thu hồi sau 6 đến 12 tháng. Mặt khác, mẫu 7B gọn nhẹ chạy trên một máy GPU tại chỗ duy nhất (loại A10/L4), khiến mẫu này đặc biệt hữu ích cho các ứng dụng trợ lý nội bộ về tài chính và y tế, nơi dữ liệu nhạy cảm không thể bị lộ trước các API bên ngoài.

Người dùng dự định

Thích hợp cho các tổ chức phát triển có bí quyết vận hành GPU và các công ty có yêu cầu tuân thủ khiến họ không thể gửi dữ liệu tới các API ở nước ngoài (đặc biệt là các API có trụ sở tại Hoa Kỳ). Ngược lại, đối với các công ty khởi nghiệp không có cơ sở hạ tầng MLOps của riêng họ hoặc các bộ phận phi kỹ thuật ưu tiên tạo mẫu trong cùng ngày, API ChatGPT/Claude, bao gồm lưu trữ, sẽ có tổng chi phí thấp hơn.

Mô hình ngôn ngữ quy mô lớn mã nguồn mở Qwen 2.5 của Alibaba Cloud. Hỗ trợ đa ngôn ngữ tiếng Trung + tiếng Anh + tiếng Nhật, hiệu suất tiếng Nhật cao hơn một bậc so với các mẫu máy Trung Quốc khác. Rất linh hoạt trong mã hóa, toán học và hiểu các văn bản dài. Có thể được triển khai trên máy chủ của riêng bạn + được tinh chỉnh, khiến nó trở thành ứng cử viên sáng giá cho các nhà phát triển và nhà nghiên cứu đang tìm kiếm giải pháp thay thế cho LLM độc quyền.