Open-Sora

Open-Sora là một khung tạo video nguồn mở được phát triển và xuất bản bởi HPC-AI Tech (nhóm Colossal-AI). Được giới thiệu là một dự án tái tạo của OpenAI Sora, đây là một mô hình thực thi cục bộ có thể tạo các video ngắn từ văn bản và hình ảnh. Nó được định vị là một tùy chọn cho các nhóm phát triển, tổ chức nghiên cứu và nhà phát triển công cụ nội bộ muốn xây dựng quy trình tạo video trong môi trường GPU của riêng họ mà không cần dựa vào API tạo video dựa trên đám mây thương mại.

Các tính năng chính

Tạo văn bản/hình ảnh thành video: Tạo các video clip từ vài giây đến hàng chục giây từ hình ảnh prompt hoặc tham chiếu. Quá trình sản xuất video ý tưởng và video nguyên mẫu trước đây thường mất vài ngày khi được yêu cầu từ các biên tập viên bên ngoài, nhưng có thể được rút ngắn xuống còn vài phút bằng cách tự sản xuất chúng.

Bản phát hành mã nguồn mở đầy đủ: Trọng lượng mô hình, mã học tập và mã suy luận được phát hành trên GitHub và có thể được sửa đổi, triển khai nội bộ và tinh chỉnh trong phạm vi giấy phép. Phí sử dụng API thương mại (vài chục đô la mỗi tháng) có thể được giảm vĩnh viễn.

Tối ưu hóa Colossal-AI: Được thiết kế để hoạt động trên khung tối ưu hóa học tập/suy luận phân tán và giảm chi phí học tập lên tới vài chục phần trăm trong môi trường nhiều GPU. Nó cũng hỗ trợ việc học tập bổ sung bằng cách sử dụng dữ liệu nội bộ.

Thực thi cục bộ/tại chỗ: Dữ liệu và lời nhắc đã tạo không được gửi tới đám mây bên ngoài, giúp dễ dàng áp dụng vào sản xuất nguyên mẫu các video dự án có tính bảo mật cao và video đào tạo nội bộ.

Biên bản xác minh của ban biên tập

Là kết quả của cuộc điều tra cắt ngang kho lưu trữ GitHub chính thức, thẻ mô hình công khai và nhiều bài viết so sánh khác nhau (Atlas Cloud, WEEL, Hakky Handbook, v.v.), định vị của Open-Sora rõ ràng là "một ứng cử viên thay thế cho API Sora 2 thương mại (thông qua ChatGPT Plus/Pro, $20-$200 mỗi tháng)." Ba điểm khác biệt là (1) tránh bị khóa bằng cách tiết lộ đầy đủ trọng lượng mô hình, (2) bảo vệ dữ liệu bí mật bằng cách thực thi tại chỗ và (3) tính linh hoạt trong việc tinh chỉnh. Mặt khác, chất lượng đầu ra không bằng Sora 2 và đánh giá hiện tại là nó chậm hơn SOTA thương mại một bước về độ phân giải và độ tự nhiên của chuyển động. Tính toán ROI giả định rằng 20 nguyên mẫu video trở lên mỗi tháng sẽ được sản xuất nội bộ và chi phí gia công (30.000 đến 100.000 yên Nhật mỗi video) + chi phí API thương mại có thể được phục hồi sau 6 đến 12 tháng. Vì khoản đầu tư GPU ban đầu là điều kiện tiên quyết nên loại API sẽ rẻ hơn khi sử dụng một lần.

Người dùng dự định

Thích hợp cho các nhóm phát triển AI và tổ chức nghiên cứu có môi trường GPU nội bộ, nhóm sản xuất nội bộ xử lý các tài liệu video có độ bảo mật cao và các kỹ sư tinh chỉnh mô hình video cũng như mục đích nghiên cứu. Mặt khác, nó không phù hợp với các nhà tiếp thị cá nhân không có môi trường GPU, bộ phận sáng tạo yêu cầu video hoàn thành chất lượng cao ngay lập tức hoặc các trang web dự kiến ​​​​sẽ được vận hành bởi những người không phải là kỹ sư. Trong những trường hợp như vậy, việc chọn mô hình SaaS như Sora 2 hoặc Runway thương mại sẽ thực tế hơn.

Khung tạo video mã nguồn mở. Được phát triển để thay thế cho OpenAI Sora, một mô hình mở có thể được thực thi cục bộ. Được xuất bản trên Hugging Face, một lựa chọn dành cho các nhà phát triển và nhà nghiên cứu để "tự chạy AI tạo video". Mặc dù nó không sánh được với chất lượng của Sora thương mại nhưng nó là một nguồn tài nguyên quý giá cho những ai đang theo đuổi ``nghiên cứu AI video với mã nguồn mở''. Hoàn toàn miễn phí.