Retell vượt 100 triệu cuộc gọi mỗi tháng: tổng đài giọng nói AI cần gì để trụ được giờ cao điểm

Retell là nền tảng giọng nói AI cho tổng đài chăm sóc khách hàng. Theo bài công bố của OpenAI, nền tảng này phục vụ hơn 4.000 doanh nghiệp. Khối lượng cuộc gọi mỗi tháng tăng từ 30 triệu vào đầu năm 2026 lên hơn 100 triệu vào tháng 9 năm 2026.

Con số 100 triệu gây ấn tượng mạnh. Nhưng câu hỏi đúng không phải là con số lớn đến đâu. Câu hỏi đúng là: một hệ thống giọng nói phải xây thêm những gì thì mới chịu được khối lượng đó mà không gãy.

Bài này đọc kỹ trường hợp Retell để trả lời câu hỏi đó. Mọi con số dưới đây đều do Retell hoặc OpenAI công bố. Chúng không phải kết quả đo độc lập, và bài này sẽ nói rõ giới hạn đó ở từng chỗ cần thiết.

Con số nào đáng đọc, con số nào chỉ nên nghe một nửa

OpenAI cho biết mô hình của hãng tạo ra phản hồi cho 80% cuộc gọi trên Retell. Tỉ lệ giải quyết, tức tỉ lệ cuộc gọi mà hệ thống tự xử lý xong không cần người, được báo cáo là trên 80%. Tổng lượng token, tức đơn vị văn bản mà mô hình xử lý, đã dùng qua mô hình OpenAI vượt 1.000 tỉ.

Ba con số này nói về quy mô, không nói về chất lượng cho mọi doanh nghiệp. Tỉ lệ giải quyết trên 80% là con số tổng hợp của Retell. Nó không cho biết tỉ lệ đó ở một công ty cụ thể là bao nhiêu. Một tổng đài chỉ xử lý tra cứu đơn hàng sẽ khác xa một tổng đài xử lý khiếu nại phức tạp.

Vì vậy, hãy đọc các con số như bằng chứng rằng mô hình đã chạy ở quy mô lớn. Đừng đọc chúng như lời hứa rằng doanh nghiệp nào triển khai cũng đạt tỉ lệ tương tự.

Bốn thứ Retell phải xây quanh mô hình

Mô hình ngôn ngữ chỉ là một phần của hệ thống. Retell phải xây bốn lớp khác thì tổng đài mới vận hành được.

Thứ nhất là bộ khung điều khiển cuộc gọi. Trong lúc gọi, bộ khung này chạy mô hình âm thanh, theo dõi mạch hội thoại, và quyết định khi nào hệ thống nói, nghe, hay phản ứng khi người gọi ngắt lời. Mô hình không tự làm được việc này. Nó cần một lớp điều phối riêng.

Thứ hai là cách đo bằng cuộc gọi thật. Retell xây chuẩn đo riêng tên là vCX. Chuẩn này dùng các đoạn hội thoại nhiều lượt lấy từ tình huống sản xuất thật, thay vì câu hỏi thi viết sẵn. Trong đợt đo ngày 13 tháng 10 năm 2026, mô hình GPT-6 Astra của OpenAI đứng đầu về tuân thủ hướng dẫn với 89,7%.

Cần nói rõ giới hạn ở đây. vCX là chuẩn đo của chính Retell, trên dữ liệu của chính Retell. Nó hữu ích để Retell chọn mô hình cho hệ thống của mình. Nó không phải chuẩn độc lập để so sánh mô hình cho mọi người.

Thứ ba là cơ chế bàn giao cho người thật. Khi cần phán đoán của con người, hệ thống không chuyển máy đột ngột. Nó tóm tắt bối cảnh cho nhân viên, trả lời câu hỏi thêm của nhân viên, và xác nhận nhân viên đã sẵn sàng rồi mới nối máy. Thiết kế này quan trọng hơn nhiều người tưởng. Một lần bàn giao cẩu thả có thể phá hỏng cả cuộc gọi mà hệ thống đã xử lý tốt trước đó.

Thứ tư là dự phòng theo từng lớp. Retell vận hành hạ tầng điện thoại của riêng mình, kèm một hạ tầng dự phòng sẵn sàng thay thế. Dịch vụ giọng nói và dịch vụ mô hình cũng có bản sao dự phòng. Khi một dịch vụ gặp sự cố, cuộc gọi vẫn tiếp tục được.

Giờ cao điểm mới là bài kiểm tra thật

Lưu lượng ban ngày trên nền tảng Retell có thể gấp hơn 50 lần mức thấp nhất vào ban đêm. Đây là điểm mà nhiều dự án giọng nói AI thất bại. Hệ thống chạy tốt lúc vắng khách không có nghĩa là chạy tốt lúc cao điểm.

Để đối phó, Retell dùng máy chủ riêng với OpenAI, chia sẻ cho nhiều khách hàng của mình. Cách này giúp giữ độ trễ ổn định khi lưu lượng tăng vọt, thay vì xếp hàng chờ tài nguyên chung.

Độ trễ ở đây được đo bằng thời gian từ lúc người gọi dứt câu đến lúc hệ thống bắt đầu câu trả lời đầu tiên. Trong đợt đo tháng 10 năm 2026, GPT-6 Astra và GPT-6 Sol đều ghi nhận mức trung vị là 883 mili giây. GPT-5.6 Luna nhanh hơn, ở mức 497 mili giây.

Hai con số này đặt ra một lựa chọn, không phải một đáp án. Mô hình nhanh hơn giúp cuộc gọi tự nhiên hơn, vì người gọi không phải chờ lâu. Nhưng mô hình tuân thủ hướng dẫn tốt hơn giúp hệ thống ít đi chệch quy trình hơn. Đội triển khai phải chọn theo loại cuộc gọi của mình, không thể lấy tốc độ làm tiêu chí duy nhất.

Hai ví dụ cụ thể, đọc đúng giới hạn của chúng

Tại Anker, hệ thống của Retell xử lý hỗ trợ sau bán hàng ở tuyến đầu tại Mỹ và Anh. Công việc gồm tra cứu đơn hàng, kiểm tra bảo hành, và xử lý sự cố. Anker báo cáo tỉ lệ giải quyết 80,4% và điểm NPS, tức chỉ số đo mức khách hàng sẵn sàng giới thiệu, là 63.

Tại Pine Park Health, hệ thống xử lý nhắc lịch hẹn và đặt lịch chủ động, rồi ghi kết quả vào hồ sơ bệnh nhân. Đội ngũ thu hồi lượng thời gian tương đương 2,1 vị trí toàn thời gian của trợ lý y tế để chuyển sang chăm sóc bệnh nhân. Hệ thống đặt lịch đạt tỉ lệ đặt thành công 55,7% khi liên hệ được với bệnh nhân.

Cả hai ví dụ đều là trường hợp riêng, không phải mức trung bình của ngành. Anker đo trên nhóm công việc đơn giản, có quy trình rõ ràng. Pine Park Health đo trên một quy trình đặt lịch cụ thể. Doanh nghiệp khác, với quy trình khác, sẽ nhận kết quả khác.

Điểm chung đáng học không nằm ở con số. Nó nằm ở chỗ cả hai đều bắt đầu từ quy trình đã rõ ràng, rồi mới giao cho hệ thống tự động. Không ví dụ nào bắt đầu từ một quy trình còn lộn xộn.

Danh sách kiểm tra trước khi triển khai

Từ trường hợp Retell, một đội chuẩn bị triển khai tổng đài giọng nói AI nên trả lời năm câu hỏi sau trước khi ký hợp đồng.

Một, quy trình nào đã đủ rõ ràng để giao cho máy. Nếu quy trình còn phụ thuộc vào kinh nghiệm ngầm của nhân viên, hệ thống sẽ học sai hoặc xử lý sai.

Hai, bàn giao cho người thật được thiết kế như thế nào. Hệ thống phải tóm tắt bối cảnh, không bắt khách hàng kể lại từ đầu.

Ba, hệ thống chịu được mức tăng lưu lượng bao nhiêu lần. Con số cần kiểm tra là mức cao điểm thực tế, không phải mức trung bình ngày.

Bốn, đo bằng dữ liệu của chính mình hay chỉ tin bảng số của nhà cung cấp. Chuẩn đo của hãng chỉ có giá trị khi chạy lại trên cuộc gọi thật của doanh nghiệp.

Năm, khi hệ thống gặp sự cố thì điều gì xảy ra với cuộc gọi đang diễn ra. Dự phòng phải nằm ở từng lớp, không chỉ ở mô hình.

Nếu một trong năm câu hỏi chưa có đáp án, dự án chưa sẵn sàng mở rộng. Nó vẫn có thể chạy thử ở quy mô nhỏ, nhưng chưa nên hứa tỉ lệ giải quyết hay tiết kiệm chi phí.

Kết luận: quy mô chứng minh hệ thống, không chứng minh phép màu

Trường hợp Retell chứng minh một điều quan trọng. Giọng nói AI đã có thể vận hành ở quy mô hơn 100 triệu cuộc gọi mỗi tháng, với tỉ lệ tự xử lý cao, khi hệ thống xung quanh mô hình được xây đủ kỹ.

Nó không chứng minh điều ngược lại. Nó không chứng minh rằng chỉ cần mua mô hình là có tổng đài tốt. Phần khó nhất không nằm ở mô hình. Nó nằm ở bộ khung điều khiển cuộc gọi, cách đo bằng dữ liệu thật, cơ chế bàn giao, và dự phòng cho giờ cao điểm.

Đội nào xây đủ bốn lớp đó thì con số 100 triệu mới có ý nghĩa. Đội nào bỏ qua chúng thì sẽ phát hiện ra sự thật theo cách tốn kém nhất: vào đúng giờ cao điểm đầu tiên.

Nguồn tham khảo

• OpenAI, "Retell uses OpenAI models to help power 100M monthly calls": https://openai.com/index/retell-ai/

Liên kết liên quan

• Về ranh giới mà hệ thống tự động phải tôn trọng khi thay mặt doanh nghiệp làm việc với khách hàng: Agent của bạn có thể bị cấm ở đâu? Ba nhóm điều khoản từ 16 nền tảng