BERTScore là gì? Giải thích dễ dàng về sự khác biệt giữa BLEU và ROUGE cũng như cách sử dụng chúng

Điểm chính của bài viết này BERTScore là chỉ số đánh giá tự động nhằm đo lường mức độ “gần gũi về nghĩa” giữa các câu do AI tạo sinh và các câu đúng. Không giống như BLEU/ROUGE, tính năng đếm số lượng từ trùng khớp, nó có thể đánh giá chính xác các cách diễn đạt và từ đồng nghĩa. Có ba đầu ra: Precision, Recall và F1. Tốt hơn nên sử dụng để thấy sự khác biệt giữa mô hình A và mô hình B hơn là giá trị tuyệt đối. Khi sử dụng nó bằng tiếng Nhật, điểm số sẽ không đáng tin cậy trừ khi bạn chỉ định một người mẫu đã học tiếng Nhật.

Hộp thông tin Ban biên tập

Miễn phí (được phát hành dưới dạng thư viện nguồn mở)

Không giới hạn số lần sử dụng. Chạy trên PC hoặc máy chủ của riêng bạn

Không có API đám mây chính thức. Gọi nó là thư viện Python

Khả thi. Có thể được tích hợp vào quy trình đánh giá LLM nội bộ của bạn

Khả thi. Không cần giao tiếp khi mô hình được tải xuống

Xác nhận lần cuối: Ngày 29 tháng 7 năm 2026 bởi ban biên tập

Mặc dù đã nhờ AI viết một bản tóm tắt nhưng anh ấy vẫn nói: ``Tôi không thể biết điều này là tốt hay xấu.'' Bạn có đang mắc kẹt trong tình huống như vậy không? Sẽ rất khó để một người đọc và chấm điểm từng cuốn sách một nếu chỉ có vài chục cuốn sách, nhưng không thể để một người đọc và chấm điểm từng cuốn sách một.

BERTScore được sử dụng ở đó. BERTScore là chỉ số đánh giá tự động sử dụng việc nhúng ngữ cảnh của mô hình ngôn ngữ BERT để đo mức độ gần gũi về mặt ngữ nghĩa của câu được tạo và câu đúng. Thay vì so sánh từ ngữ hời hợt, điểm số được dựa trên các tiêu chí tương tự như liệu những gì được nói có giống nhau hay không.

Chỉ số này được các nhà nghiên cứu tại Đại học Cornell và ASAPP đề xuất và hiện đã trở thành tiêu chuẩn kiểm tra chất lượng cho LLM.

BERTScore đo lường những gì?

BERTScore sắp xếp câu được tạo (câu ứng cử viên) và câu mẫu (câu tham chiếu) và trả về giá trị từ 0 đến 1 cho biết mức độ trùng lặp ý nghĩa của chúng.

Tóm lại đây là những gì tôi làm:

Chuyển cả hai câu thành một ``vectơ ý nghĩa'', đo lường mức độ gần nhau của các từ với nhau và cho điểm cặp từ phù hợp nhất.

Ví dụ: "Con mèo đang ngủ trên ghế sofa" và "Con mèo đang ngủ trên ghế sofa". Mặc dù cách viết của các từ khác nhau nhưng ý nghĩa gần như giống nhau. BERTScore coi đây là điểm cao.

Đây chính là điểm khác biệt mang tính quyết định so với các chỉ báo thông thường.

Hãy để tôi thêm một thuật ngữ. Nhúng theo ngữ cảnh là ``chuyển đổi các từ thành một chuỗi số bao gồm cả ngữ cảnh xung quanh.'' Ngay cả khi sử dụng cùng một ``Hashi'', các giá trị cho ``River Hashi'' và ``Rice wo Hashide'' vẫn khác nhau. Vì vậy, nó mạnh mẽ chống lại các từ đồng âm.

Tại sao BLEU và ROUGE là chưa đủ?

BLEU và ROUGE đã là tiêu chuẩn từ lâu, nhưng cả hai đều dựa vào việc đếm số lần xuất hiện của cùng một từ. Yếu trong việc diễn giải. Đây là điểm yếu.

Hãy xem một ví dụ cụ thể. Giả sử câu tham khảo là "Tôi đến cuộc họp muộn vì tàu đến muộn."

câu được tạo	Đánh giá dựa trên kết hợp từ	Đánh giá dựa trên ý nghĩa
Tôi đã trễ cuộc họp vì tàu bị trễ.	Thấp (vài trận đấu)	Cao (nội dung giống nhau)
Tôi đã đến cuộc họp đúng giờ vì chuyến tàu của tôi bị trễ.	Cao (nhiều trận đấu)	Thấp (kết luận hoàn toàn ngược lại)
Tôi đã trễ cuộc họp vì xe buýt đến trễ.	đắt	Thấp hơn một chút (có nghĩa khác nhau)

Nói cách khác, nếu bạn chỉ nhìn vào các từ trùng khớp, bạn có thể sẽ cho điểm cao đối với những câu có nghĩa trái ngược nhau.

BERTScore là một chỉ báo lấp đầy lỗ hổng này. Tuy nhiên, nó không hoàn hảo. Những khác biệt nhỏ về thực tế, chẳng hạn như "xe buýt/xe lửa" ở dòng thứ ba, dễ bị bỏ qua vì chúng nằm gần nhau trên vectơ ngữ nghĩa. Điểm yếu này sẽ được xử lý chi tiết sau.

Trong đánh giá LLM của Nhật Bản, thông lệ tiêu chuẩn là kết hợp bốn yếu tố: BLEU, ROUGE, BERTScore và đánh giá con người. Đừng cố gắng giải quyết mọi việc chỉ bằng một thước đo.

Tôi cũng muốn đọc nó

TypingMind là gì? Giá và các tùy chọn lựa chọn bắt đầu từ $39 (phiên bản 2026)

TypingMind là màn hình trò chuyện một lần, nơi bạn có thể sử dụng nhiều AI bằng khóa API của riêng mình. Chúng tôi đã sắp xếp các nội dung của Tiêu chuẩn $39, Mở rộng $79 và Cao cấp $99, phiên bản Nhóm bắt đầu từ $83 mỗi tháng, nơi lưu dữ liệu và mức độ bạn có thể sử dụng miễn phí bằng cách sử dụng thông tin chính thức kể từ tháng 8 năm 2026.

Ngày 7 tháng 8 năm 2026

14 bài toán và giải pháp triển khai AI trong các công ty xây dựng và ngành xây dựng

Phải mất nửa ngày để tạo ước tính và bạn có thể thu thập 20 báo cáo hàng ngày. Chúng tôi đã sắp xếp 14 vấn đề gặp phải khi giới thiệu AI trong ngành xây dựng dưới dạng Hỏi đáp. Hầu hết các nguyên nhân không nằm ở hiệu suất của AI mà nằm ở cách nó được phân phối. Nó bao gồm bản tóm tắt chi tiết về báo cáo hàng ngày, cách bắt đầu sau một tuần, chi phí khoảng 3.000 yên Nhật mỗi tháng và những điểm cần lưu ý về trợ cấp.

Ngày 7 tháng 8 năm 2026

BERTScore được tính như thế nào?

Quá trình tính toán có bốn bước. Ngay cả khi bạn không tuân theo các công thức, bạn vẫn có thể sử dụng nó đủ miễn là bạn hiểu thứ tự.

Chuyển từng câu tham chiếu và câu ứng viên thông qua BERT và chuyển đổi chúng thành vectơ cho mỗi mã thông báo.
Đối với mỗi mã thông báo trong câu ứng cử viên, hãy tính độ tương tự cosine với tất cả mã thông báo trong câu tham chiếu.
Chỉ sử dụng điểm với đối thủ giống nhau nhất (kết hợp tham lam)
Tính trung bình tất cả các mã thông báo và phát hành Độ chính xác, Thu hồi và F1.

Độ tương tự cosine là một giá trị đo lường mức độ hướng của hai vectơ được căn chỉnh. Nếu các hướng hoàn toàn giống nhau thì nó sẽ là 1 và nếu nó không liên quan thì nó sẽ ở khoảng 0.

Điểm mấu chốt là thiết kế dựa trên nguyên tắc ''xem xét sức mạnh vũ phu và chỉ hợp tác với đối thủ gần nhất.'' Ngay cả khi thứ tự từ bị thay đổi, bạn vẫn có thể chọn từ miễn là bạn có những từ có nghĩa tương ứng. Vì vậy, nó có thể chịu được việc viết lại giữa giọng nói thụ động và giọng nói chủ động.

Mặt khác, thiết kế này không xem xét chặt chẽ cấu trúc câu. Nếu ý nghĩa ở cấp độ từ tương tự nhau thì sẽ vượt qua. Xin hãy nhớ điều này.

Precision/Recall/F1 đang xem xét điều gì?

BERTScore trả về ba số. Nếu chỉ nhìn vào F1 mà không phân biệt ba điều này, bạn sẽ đi sai hướng để cải thiện.

chỉ mục	những gì bạn thấy	nghi ngờ khi thấp
Độ chính xác	Mỗi từ trong câu được tạo ra có tương ứng với câu tham chiếu không?	Bạn đang thêm thông tin không cần thiết. Chứa những câu chuyện bịa đặt
Thu hồi (tỷ lệ thu hồi)	Mỗi từ trong câu tham chiếu có được chọn trong câu được tạo không?	Thiếu thông tin. Tóm tắt quá nhiều
F1	Ý nghĩa hài hòa của hai đầu	Sức mạnh toàn diện. Giá trị tiêu biểu cho báo cáo

Nếu đó là một nhiệm vụ tóm tắt, mức Thu hồi thấp là dấu hiệu cho thấy bạn đã bỏ sót một điểm quan trọng. Mặt khác, nếu chỉ Precision thấp, bạn nên nghi ngờ AI đang nói dối như vậy, gọi là ảo giác.

Nó chỉ có ý nghĩa khi bạn xếp hàng ba. Thật lãng phí nếu chỉ xem F1.

Điểm vượt qua là bao nhiêu?

Tôi sẽ viết rõ ràng. Không thể xác định được đường truyền cho giá trị tuyệt đối.

Giá trị BERTScore thay đổi rất nhiều tùy thuộc vào mô hình được sử dụng, ngôn ngữ, độ dài câu và việc có sử dụng chuẩn hóa hay không. Ngay cả đối với các câu có cùng chất lượng, nếu bạn thay đổi mẫu, 0,85 sẽ trở thành 0,72. Hầu như không có ích gì khi áp dụng các ngưỡng được thấy trong các bài viết khác cho dữ liệu của riêng bạn.

Đây là cách sử dụng nó một cách chính xác.

So sánh model A và model B có cùng cài đặt
So sánh trước và sau khi cải thiện lời nhắc trong khi vẫn giữ nguyên cài đặt
Giữ nguyên các cài đặt và theo dõi tình trạng xuống cấp trước và sau khi phát hành

Cách sử dụng	hiệu lực	lý do
Tiêu chuẩn nội bộ của chúng tôi là "Nếu từ 0,9 trở lên thì chất lượng cao".	sự nguy hiểm	Giá trị khác nhau tùy thuộc vào cài đặt
So sánh tương đối giữa các mô hình	phù hợp	Sự khác biệt là đáng tin cậy nếu các điều kiện được đáp ứng
So sánh A/B trước và sau khi cải tiến	phù hợp	Có thể hình dung được tác động của những thay đổi
Đánh giá đạt/không đạt một câu duy nhất	không phù hợp	Có rất nhiều sự mờ nhạt trong mỗi câu.

Tóm lại, BERTScore không phải là “điểm số” mà là “thước đo”. Nó ở đó để so sánh nó với một cái gì đó.

Nếu bạn không quen với thiết kế so sánh, việc hiểu xu hướng phản hồi cho từng mô hình sẽ giúp thiết lập các trục đánh giá dễ dàng hơn. Sự khác biệt về đặc điểm của các mô hình chính được sắp xếp dựa trên khả năng và cách sử dụng của Meta AI, vì vậy việc đọc qua nó trước khi chọn mục tiêu đánh giá sẽ đẩy nhanh tốc độ thiết kế sau này.

Tôi nên cẩn thận điều gì khi sử dụng nó bằng tiếng Nhật?

Nếu bạn đang sử dụng nó bằng tiếng Nhật thì đây là phần quan trọng nhất. Có ba cạm bẫy.

Đầu tiên là vấn đề về đặc điểm kỹ thuật của mô hình. Nếu bạn để nó làm mặc định, mô hình tiếng Anh có thể được chọn. Nếu chấm điểm tiếng Nhật với một người mẫu chưa học đủ tiếng Nhật thì các con số gần như không đáng tin cậy. Vui lòng chỉ định rõ ràng model đa ngôn ngữ hoặc model tiếng Nhật.

Thứ hai, vấn đề chia cắt. Trong tiếng Nhật, các từ không được phân cách bằng dấu cách. Do tính chất kỳ quặc của việc mã hóa, điểm số sẽ dao động ngay cả đối với cùng một câu. Sử dụng lại các cài đặt tương tự trong suốt quy trình đánh giá của bạn.

Thứ ba, tính không ổn định trong câu ngắn. Những câu trả lời ngắn như "có" và "đã hiểu" có quá ít mã thông báo và con số sẽ tăng vọt. Khi đánh giá chatbot, việc xử lý các câu ngắn một cách riêng biệt là an toàn.

Tóm lại, các cài đặt là cố định và các câu ngắn được tổng hợp riêng. Điều này một mình tạo ra một sự khác biệt lớn về độ tin cậy.

Quy trình cài đặt: Cài đặt bằng pip và chạy trong 5 phút

Việc thực hiện ngắn đáng ngạc nhiên. Nếu bạn chạy Python, sẽ mất vài phút.

pip install bert-score

Cuộc gọi sẽ trông như thế này:

from bert_score import score

cands = ["電車が遅延したので、打ち合わせに遅れました"]
refs  = ["電車が遅れたため、会議に遅刻しました"]

P, R, F1 = score(cands, refs, lang="ja", verbose=True)
print(F1.mean())

Đừng quên chỉ định lang. Nếu bạn để trống phần này, hành vi sẽ dành cho tiếng Anh.

Lần đầu tiên, bạn sẽ phải đợi một chút trong khi mô hình tải xuống. Lần đọc thứ hai trở đi nhanh hơn vì chúng được đọc từ bộ đệm. Nếu bạn muốn sử dụng nó trong môi trường ngoại tuyến, hãy chạy nó trực tuyến một lần để lấy mô hình trước.

Nếu bạn muốn đo BLEU và ROUGE cùng lúc, việc tạo bảng so sánh sẽ dễ dàng hơn nếu bạn gộp các thư viện liên quan lại với nhau.

Khối lượng tính toán nặng hơn BLEU đáng kể. Nếu muốn chạy hàng chục nghìn bản ghi, bạn nên chuẩn bị GPU hoặc thiết kế hệ thống chạy bằng cách lấy mẫu.

Các tình huống BERTScore phù hợp và các tình huống không phù hợp

Nó không phải là một chỉ báo phù hợp cho tất cả. Hãy để tôi làm rõ những ưu và nhược điểm.

bối cảnh	phương hướng	bổ sung
Kiểm tra chất lượng tóm tắt	◎	Có thể đánh giá khá các cách diễn đạt
Đánh giá dịch máy	◎	Chiến trường chính của bài báo đề xuất
Giám sát sự suy giảm phản hồi của chatbot	○	Các câu ngắn được tính riêng.
Xác minh tính đúng đắn của các giá trị số và danh từ riêng	×	Không thể phát hiện lỗi về con số
sự thật thực tế	×	Nếu nghĩa gần thì sẽ qua.
Nhiệm vụ không thể chuẩn bị được câu trả lời đúng	×	Cần có văn bản tham khảo

Ba dòng dưới đây là bị hiểu lầm nhiều nhất. BERTScore chỉ xem xét liệu các ý nghĩa có gần nhau hay không. Vì "12 triệu yên Nhật" và "13 triệu yên Nhật" nằm rất gần nhau trên vectơ nên việc trộn số tiền sẽ được thông qua với điểm cao.

Nếu bạn muốn đảm bảo tính chính xác của số lượng và ngày tháng, việc chuẩn bị một kết quả khớp riêng bằng cách sử dụng biểu thức chính quy là điều thiết thực. Đừng dựa vào một chỉ số.

Cách sử dụng với các chỉ số đánh giá khác

Trong thực tế, một số được sử dụng cạnh nhau. Bảng này cung cấp một cái nhìn tổng quan nhanh chóng về việc phân chia vai trò.

chỉ mục	những gì bạn thấy	Điểm mạnh	điểm yếu
BLEU	So khớp chuỗi từ	Tốc độ cao và khả năng tái tạo cao	diễn đạt kém
ROUGE	Tỷ lệ bao phủ thông tin của câu tham khảo	Phát hiện thiếu sót tóm tắt	không thấy ý nghĩa
BERTSđiểm	Sự tương đồng về mặt ngữ nghĩa với bối cảnh	Mạnh về diễn giải và từ đồng nghĩa	Thiếu lỗi thực tế/tính toán khó
Tương tự cosin nhúng	nghĩa của cả câu	Việc thực hiện nhẹ nhất	kích thước hạt thô
LLM-với tư cách là thẩm phán	Chất lượng tổng thể	Bạn có thể viết tiêu chuẩn của riêng bạn	chi phí và biến động
đánh giá con người	mức độ hài lòng thực tế	câu trả lời đúng cuối cùng	tốn thời gian và tốn kém

Nói cách khác, sau khi sàng lọc chỉ mục tự động, con người chỉ đọc phần trên và phần dưới còn lại. Cách tiếp cận hai giai đoạn này là một hoạt động thực tế.

Sẽ không hiệu quả nếu từ bỏ tất cả các chỉ báo tự động và quay lại điều khiển thủ công, và ngược lại, sẽ rất nguy hiểm nếu chỉ dựa vào các chỉ báo tự động. Sử dụng cả hai.

Các chỉ số phái sinh và những hạn chế còn lại

Một số phiên bản phái sinh của BERTScore đã được đề xuất để bù đắp cho những điểm yếu của nó. Các ví dụ bao gồm KG-BERTScore, kết hợp các biểu đồ tri thức để kiểm tra tính chính xác của dữ kiện và CBERTScore, nhằm mục đích cải thiện khả năng xử lý số.

Trong cả hai trường hợp, ý tưởng là củng cố điểm yếu của phần chính, đó là “sự yếu kém về số lượng và sự kiện” từ bên ngoài. Nói cách khác, ngành công nghiệp đã thừa nhận rằng chỉ riêng BERTScore không thể đảm bảo tính xác thực.

Có một giới hạn khác có hiệu lực. Hạn chế bắt buộc phải có câu tham khảo.

Trong trường hợp câu trả lời bằng văn bản tự do hoặc nhiệm vụ sáng tạo không có câu trả lời đúng duy nhất thì ngay từ đầu không thể chuẩn bị các câu tham khảo. Trong trường hợp này, BERTScore sẽ không được sử dụng và bạn sẽ phải chuyển sang để LLM chấm điểm bài kiểm tra.

Vấn đề đánh giá sản phẩm không chỉ giới hạn ở văn bản. Ngay cả trong việc tạo ra hình ảnh, rất khó để đánh giá liệu nó có “như dự kiến” hay không và giải pháp thực tế ở đây là sử dụng các quy tắc vận hành thay vì các chỉ báo. Nếu quan tâm đến trục đánh giá ở phía hình ảnh, bạn có thể đọc phần so sánh các công cụ minh họa AI và sự khác biệt giữa ComfyUI và Stable Diffusion để hiểu sự khác biệt về ý tưởng so với đánh giá văn bản.

Làm cách nào để kết hợp nó vào đánh giá AI nội bộ?

Nếu bạn cài đặt sai thứ tự, bạn sẽ nhận được một bảng điều khiển đầy những con số mà không ai nhìn thấy. Đây là thứ tự được đề xuất:

Thu thập 50 đến 100 dữ liệu đánh giá có tài liệu tham khảo (đây là 80% công việc)
Đo BERTScore với mô hình hiện tại và ghi lại nó làm giá trị tham chiếu
Đo lường với cùng một dữ liệu mỗi khi bạn thay đổi lời nhắc hoặc mô hình
Người ta chỉ đọc những trường hợp điểm số đi xuống.

Việc đầu tiên mất nhiều thời gian nhất. Nếu không có dữ liệu đánh giá tốt thì bạn đưa ra số liệu nào cũng không thành vấn đề.

Khi xử lý các tài liệu nội bộ, bản thân dữ liệu đánh giá có xu hướng được bảo mật. Vì BERTScore được hoàn thiện cục bộ nên trong thực tế sẽ rất hữu ích khi không phải gửi văn bản đến một dịch vụ bên ngoài.

Nếu bạn đang ở giai đoạn đưa hệ thống đánh giá vào hệ thống quản lý nội bộ của mình, bạn có thể kiểm tra cách tạo hệ thống kiểm tra bằng công cụ AI có thể sử dụng cho đánh giá nội bộ, để bạn có thể thiết kế hệ thống đó bao gồm cả cách lưu giữ nhật ký.

Có nhiều trường hợp bạn muốn đo lường chất lượng tóm tắt của kết quả nghiên cứu. Trong trường hợp đó, việc tạo câu tham khảo sẽ dễ dàng hơn nếu trước tiên bạn hiểu định dạng đầu ra của AI nghiên cứu mục tiêu. Bản tóm tắt về cách sử dụng Felo sẽ hữu ích.

Các mẫu lỗi thường gặp

Dưới đây là bốn sai lầm tôi thấy nhiều lần trong lĩnh vực này.

So sánh mà không sử dụng cùng một mô hình — Sẽ chẳng ích gì khi so sánh các giá trị được đo bằng một mô hình khác so với tuần trước.
Chỉ báo cáo F1 - Tôi không biết nguyên nhân là gì, Chính xác hay Thu hồi và việc cải thiện là vô ích
Trộn các câu ngắn và dài trong cùng một tập hợp - giá trị trung bình bị kéo xuống bởi sự biến động của các câu ngắn
Hãy để BERTScore xác định tính chính xác của các con số - những sai sót về số lượng và ngày tháng sẽ được bỏ qua.

Thật đau đớn khi bạn làm tất cả. Điều đặc biệt đầu tiên là nhật ký có giá trị trong vài tháng sẽ hoàn toàn không thể sử dụng được. Sửa các cài đặt trong mã và thay đổi phiên bản khi thay đổi chúng.

Ban biên tập Phán quyết

BERTScore là chỉ số đầu tiên bạn nên đưa vào khi bắt đầu đánh giá LLM của mình. Chi phí lắp đặt đặc biệt thấp. Chỉ cần chèn nó bằng pip và gọi một vài dòng, bạn sẽ có thể thấy tính hợp lệ của các cách diễn giải mà bạn không thể nhận được bằng BLEU/ROUGE. Vì nó có thể được hoàn thành tại địa phương nên điều quan trọng trên thực tế là nó có thể được đo lường mà không cần công bố các tài liệu nội bộ.

Tuy nhiên, nếu bạn nghĩ rằng "một sản phẩm này có thể đảm bảo chất lượng", thì thực sự bạn sẽ nhận được một kết quả tồi tệ. Những sai sót về số lượng và ngày tháng sẽ bị bỏ qua. Hãy chuẩn bị một cơ chế riêng để bảo vệ tính đúng đắn của sự thật. Nếu một trang web giới thiệu hệ thống mà không hiểu điểm này, thì sau sáu tháng, nó thường bắt đầu phàn nàn rằng: ``Mặc dù điểm cao nhưng tôi vẫn nhận được khiếu nại từ trang web.''

Đây là dòng thực tế. BERTScore sàng lọc một lượng lớn đầu ra và chỉ những phần thay đổi điểm số mới được mọi người đọc. Nó không được sử dụng để giảm bớt sự đánh giá của con người mà để thu hẹp những nơi mà con người nên đọc. Nếu bạn duy trì vị trí này, nó sẽ trở thành một công cụ cực kỳ tiết kiệm chi phí.

Đối với những nhiệm vụ không thể chuẩn bị sẵn câu tham khảo, bạn nên chuyển sang phương pháp mà LLM cho điểm. Đừng ép buộc bản thân phải áp dụng nó.

Xem các so sánh/lựa chọn thay thế liên quan

Nếu bạn bối rối không biết nên đánh giá mô hình nào thì sự so sánh này sẽ hữu ích.

ChatGPT vs Claude — sự khác biệt về phong cách trong nhiệm vụ tóm tắt
ChatGPT vs Gemini - Sự khác biệt về điểm mạnh trong xử lý văn bản dài
Claude vs Gemini - So sánh sự tự nhiên của tiếng Nhật
ComfyUI vs Stable Diffusion — Thử thách chung khi đánh giá sản phẩm
Tìm giải pháp thay thế cho ChatGPT — Danh sách các lựa chọn thay thế tiềm năng
Danh sách các công cụ dựa trên AI agent - khi tiến xa hơn đến việc tự động hóa quy trình đánh giá

ChatGPT là chatbot AI hỗ trợ trả lời câu hỏi, tạo văn bản, sắp xếp thông tin và tạo ý tưởng thông qua đối thoại tự nhiên. Bạn có thể thực hiện các tác vụ dựa trên văn bản như tóm tắt văn bản dài, soạn thảo email và đề xuất, dịch, diễn giải và sắp xếp chúng dưới dạng bảng trong khi trò chuyện. Chúng tôi còn cung cấp dịch vụ tạo mã lập trình, xác nhận nguyên nhân lỗi, giải thích nội dung học tập và tư vấn bằng hình ảnh. Nó phù hợp cho những người dùng muốn sử dụng nó cho nhiều mục đích khác nhau, từ nghiên cứu cá nhân đến hỗ trợ tạo và phát triển tài liệu kinh doanh.

Các câu hỏi thường gặp (FAQ)

H. BERTScore có hoàn toàn tương thích trở lên với BLEU không?

KHÔNG. BLEU có ưu điểm là dễ tính toán hơn và có độ tái lập cao hơn. Đối với các ứng dụng giám sát nơi hàng chục nghìn mục được xử lý mỗi ngày, việc sử dụng BLEU làm bộ lọc chính và chỉ xem số lượng được thu hẹp bằng BERTScore là thực tế.

Q. Chất lượng có được đảm bảo nếu điểm vượt quá 0,9 không?

Không. Giá trị tuyệt đối của BERTScore thay đổi rất nhiều tùy thuộc vào kiểu sử dụng và cài đặt ngôn ngữ. Chỉ sử dụng để so sánh tương đối trong cùng điều kiện. Đừng gán bất kỳ ý nghĩa nào cho chính con số 0,9.

Q. Có phải câu tham khảo (câu trả lời đúng) luôn được yêu cầu không?

Nó là cần thiết. Không thể tính toán nếu không có câu lệnh tham chiếu. Nó không phù hợp với các nhiệm vụ sáng tạo hoặc đánh giá bài viết tự do khi không xác định được câu trả lời đúng, vì vậy trong những trường hợp như vậy, vui lòng cân nhắc việc cho điểm LLM.

Q. Nó có hoạt động bình thường bằng tiếng Nhật không?

Nó di chuyển. Tuy nhiên, giả định rằng bạn chỉ định rõ ràng một người mẫu đã học tiếng Nhật. Nếu bạn chạy với các giá trị mặc định và chọn mô hình tiếng Anh, các con số sẽ không đáng tin cậy. Có nhiều trường hợp không phải như vậy.

Q. Nó có thể được sử dụng trên PC không có GPU không?

Bạn có thể sử dụng nó. Nếu số lượng trường hợp ít thì CPU không có vấn đề gì. Tuy nhiên, nếu con số vượt quá vài nghìn thì độ trễ sẽ trở nên không thực tế, vì vậy hãy xem xét môi trường GPU hoặc điện toán đám mây.

Câu hỏi: Tôi nên xem xét cái nào: Độ chính xác, Thu hồi hay F1?

Giá trị điển hình là F1, nhưng nếu bạn muốn cải thiện thì nên xem xét cả 3. Nếu Mức thu hồi thấp nghĩa là thông tin bị thiếu và nếu Độ chính xác thấp thì nghi ngờ là những bổ sung hoặc bịa đặt không cần thiết. Giá trị của cấu trúc ba giá trị là nó cho phép bạn tách biệt nguyên nhân.

Q. Có thể phát hiện được lỗi thực tế không?

bạn không thể. Những lỗi như "12 triệu yên Nhật" và "13 triệu yên Nhật" được cho điểm cao vì chúng có ý nghĩa rất giống nhau. Vui lòng sử dụng cơ chế dựa trên quy tắc khác để xác minh các giá trị số và danh từ riêng.

Q. Tin nhắn của tôi có được gửi ra ngoài công ty không?

không có. Vì mô hình được tải xuống và chạy trong môi trường của riêng bạn nên văn bản được đánh giá sẽ không bị mất. Nó cũng có thể được sử dụng để đánh giá các tài liệu bí mật.

Khi bạn đã nắm được những kiến thức cơ bản về đánh giá, bước tiếp theo là chọn mô hình cần đo. Bằng cách đọc về các khả năng và cách sử dụng của Meta AI, bạn có thể biết được những mô hình nào nên được đưa vào làm ứng cử viên so sánh cho các nhiệm vụ tiếng Nhật. Bằng cách đọc nội dung này trước khi tạo dữ liệu đánh giá, bạn có thể tránh được những lần đo lại không cần thiết.