Swallow là LLM mở được sản xuất trong nước nhằm cải thiện hiệu suất tiếng Nhật bằng cách thêm một lượng lớn văn bản tiếng Nhật vào mô hình cơ sở do nước ngoài sản xuất như Llama của Meta và thực hiện học trước liên tục.
Swallow được cho là dòng LLM trong nước được phát triển bởi nhóm nghiên cứu của Viện Công nghệ Tokyo (nay là Đại học Khoa học Tokyo) và Viện Tin học Quốc gia, dựa trên các LLM mở ở nước ngoài như Llama 2 và Mixtral, thông qua đào tạo trước liên tục, chủ yếu sử dụng văn bản web tiếng Nhật. Các mô hình cơ bản lấy tiếng Anh làm trung tâm có xu hướng yếu trong việc đáp ứng từ vựng, ngữ pháp và bối cảnh văn hóa tiếng Nhật, nhưng Swallow bù đắp cho điểm yếu này thông qua việc học bổ sung và đáng chú ý là cải thiện hiệu suất theo tiêu chuẩn tiếng Nhật. Trong hoạt động thực tế tính đến năm 2026, có nhiều trường hợp nó được áp dụng trên cơ sở tinh chỉnh bằng cách sử dụng dữ liệu độc quyền và liên kết RAG với các tài liệu nội bộ và không giống như các API thương mại, rào cản chi phí chính có thể là nhu cầu xây dựng cơ sở hạ tầng suy luận và GPU bảo mật trên các máy chủ nội bộ. Quyết định về cách chọn một mô hình tại chỗ tùy thuộc vào việc ưu tiên tính chính xác của mô hình tiếng Nhật hay tính linh hoạt và tần suất cập nhật của mô hình nói tiếng Anh, đồng thời người ta cho rằng các công ty có yêu cầu tại chỗ mạnh hơn và các hạn chế về chủ quyền dữ liệu có nhiều khả năng trở thành ứng cử viên hơn. Xét về giá cả thị trường, chi phí thuê GPU đám mây thường chiếm phần lớn chi phí vận hành.