Mở đầu — vì sao bài này quan trọng
Cho đến bài này, gần như toàn bộ những gì bạn học đều xoay quanh một thứ duy nhất: chữ. Bạn gõ text, AI trả về text. Nhưng công việc thực tế thì không "sạch sẽ" như vậy. Khách hàng gửi ảnh chụp hóa đơn nhòe nhoẹt, gửi voice message dài ba phút bằng giọng Nghệ An, gửi screenshot lỗi phần mềm kèm một câu "cái này bị gì vậy shop?". Nhân viên của bạn phải tự xử lý đống dữ liệu hỗn tạp đó — và cho đến gần đây, AI thì không.
Multi-modal prompting (tạm dịch: ra lệnh đa phương thức) chính là bước ngoặt đó. Thay vì chỉ hiểu chữ, các model hiện đại có thể "nhìn" hình ảnh, "nghe" âm thanh và xử lý chúng trong cùng một prompt với văn bản. Điều này mở ra một tầng ứng dụng kinh doanh hoàn toàn mới: đọc hóa đơn tự động, kiểm tra chất lượng sản phẩm qua ảnh, chuyển voice message của khách thành đơn hàng, phân tích biểu đồ tài chính mà không cần ai gõ lại số liệu.
Với thị trường Việt Nam, nơi khách hàng cực kỳ chuộng gửi ảnh và tin nhắn thoại qua Zalo, Messenger thay vì gõ text đầy đủ, đây không phải là tính năng "hay ho cho vui" — mà là năng lực sống còn để tự động hóa. Bài này sẽ giúp bạn hiểu bản chất, biết viết prompt đa phương thức đúng cách, và tránh những cái bẫy khiến kết quả sai lệch mà bạn không hề hay biết.
Khái niệm cốt lõi
Modality là gì?
"Modality" (phương thức) là dạng dữ liệu đầu vào mà model có thể tiếp nhận. Các modality phổ biến hiện nay gồm: text (văn bản), image (hình ảnh — ảnh chụp, screenshot, biểu đồ, tài liệu scan), audio (âm thanh — giọng nói, tiếng động) và ở mức cao hơn là video. Một model "multi-modal" là model có thể nhận nhiều loại đầu vào này cùng lúc trong một prompt, thay vì chỉ text.
Điểm mấu chốt bạn phải nắm: model không "xem ảnh như con người". Khi bạn đưa một tấm ảnh vào, model chuyển nó thành một chuỗi biểu diễn số (embedding tokens) rồi suy luận dựa trên những gì nó từng học. Nó không zoom vào từng pixel, không đọc được chữ quá nhỏ, và có thể "đoán" những chi tiết không thực sự có trong ảnh. Hiểu điều này giúp bạn viết prompt thực tế thay vì kỳ vọng viển vông.
Bức tranh các model hỗ trợ (tính đến 2026)
- GPT-4o và dòng GPT-4 Turbo (OpenAI): hỗ trợ text + image + audio (giọng nói hai chiều). Đây là lựa chọn linh hoạt nhất khi bạn cần cả nhìn lẫn nghe trong một luồng.
- Claude 3.5 / 4 Sonnet, Opus (Anthropic): rất mạnh về text + image, đặc biệt giỏi đọc tài liệu, biểu đồ, screenshot phức tạp và suy luận trên ảnh. Nhánh Claude tập trung vào thị giác và văn bản; xử lý audio thường cần bước chuyển đổi qua công cụ khác trước.
- Gemini (Google): hỗ trợ text + image + audio + video, mạnh khi cần xử lý clip video hoặc lượng lớn ngữ cảnh đa phương thức.
Cách một prompt đa phương thức được cấu trúc
Về mặt kỹ thuật, một prompt đa phương thức không phải là "gõ chữ rồi kéo ảnh vào cho vui". Nó là một chuỗi các khối nội dung (content blocks) xen kẽ nhau: một khối text, một khối image, lại một khối text. Model đọc tuần tự. Vì vậy thứ tự và cách bạn "chỉ dẫn" quanh mỗi hình ảnh quyết định phần lớn chất lượng kết quả.
Một prompt tốt luôn có ba thành phần: (1) văn cảnh — bạn đang đưa cái gì và tại sao; (2) nội dung phi văn bản — ảnh/audio; (3) yêu cầu cụ thể — bạn muốn model làm gì với nó, trả kết quả ở định dạng nào. Thiếu một trong ba, model sẽ tự suy diễn và bạn mất kiểm soát.
Tình huống thực tế
Ví dụ 1 — Chuỗi nhà hàng Pizza 4P's tự động đọc hóa đơn nhà cung cấp
Bối cảnh: Bộ phận kế toán của một chuỗi F&B tại TP.HCM (giả định dựa trên mô hình vận hành thực tế của các chuỗi như Pizza 4P's) nhận mỗi ngày khoảng 120 hóa đơn giấy từ nhà cung cấp nguyên liệu — rau, thịt, hải sản, đồ khô. Trước đây hai nhân viên nhập liệu mất trung bình 4 giờ/ngày để gõ tay vào phần mềm kế toán.
Cách làm mới: Họ chụp ảnh từng hóa đơn và đưa vào một prompt đa phương thức. Prompt (rút gọn): "Bạn là trợ lý kế toán. Đây là ảnh chụp một hóa đơn mua nguyên liệu bằng tiếng Việt. Hãy trích xuất: tên nhà cung cấp, ngày, từng dòng mặt hàng (tên, số lượng, đơn giá, thành tiền), và tổng tiền. Trả về dạng JSON. Nếu bất kỳ trường nào bị mờ hoặc không đọc được, ghi giá trị là 'CẦN KIỂM TRA' thay vì đoán."
Diễn giải: Chi tiết cứu tinh ở đây là câu cuối — buộc model thừa nhận khi không đọc được thay vì bịa số. Nhờ vậy, đội kế toán chỉ cần soát lại các dòng bị đánh dấu, thay vì dò lại toàn bộ. Thời gian nhập liệu giảm từ 4 giờ xuống còn khoảng 45 phút/ngày.
Bài học rút ra: Với ảnh tài liệu thực tế (mờ, nghiêng, dấu tiếng Việt), đừng hỏi model một cách chung chung. Hãy chỉ định rõ định dạng đầu ra và cho model một "lối thoát an toàn" để nó không phải bịa dữ liệu.
Ví dụ 2 — Shop thời trang trên Zalo biến voice message thành đơn hàng
Bối cảnh: Một shop bán quần áo online quy mô nhỏ ở Hà Nội (khoảng 8 nhân viên) nhận đơn chủ yếu qua Zalo. Rất nhiều khách lười gõ, họ nhấn giữ và nói: "Em ơi cho chị cái áo màu be lúc nãy chị xem, size L nhé, với cái quần jean chị inbox hôm qua, ship về Cầu Giấy hộ chị."
Cách làm mới: Nhân viên chuyển voice message vào một luồng đa phương thức (audio + text). Prompt: "Đây là tin nhắn thoại tiếng Việt của khách đặt hàng. Hãy: (1) chép lại nội dung; (2) trích xuất danh sách sản phẩm khách muốn mua kèm size/màu nếu có; (3) trích địa chỉ giao hàng. Nếu thông tin nào mơ hồ hoặc tham chiếu tới sản phẩm 'lúc nãy'/'hôm qua' mà không rõ, hãy liệt kê thành mục 'CẦN HỎI LẠI KHÁCH'."
Diễn giải: Điểm tinh tế là khách hay nói kiểu tham chiếu ("cái áo lúc nãy"), mà audio thì không chứa thông tin đó. Nếu không cảnh báo trước, model sẽ đoán bừa. Nhờ mục "CẦN HỎI LẠI KHÁCH", nhân viên biết chính xác cần nhắn lại điều gì thay vì gửi nhầm hàng.
Bài học rút ra: Audio giọng địa phương, nói tắt, nói ngược — model xử lý tốt hơn bạn nghĩ, nhưng nó chỉ biết những gì có trong đoạn ghi âm. Hãy tách rõ phần "chắc chắn" và phần "cần xác nhận".
Ví dụ 3 — Sàn TMĐT kiểm duyệt ảnh sản phẩm hàng loạt
Bối cảnh: Một sàn thương mại điện tử tầm trung ở Đông Nam Á cần kiểm tra ảnh sản phẩm do người bán tự đăng, tránh ảnh vi phạm: chứa số điện thoại/link dẫn ra ngoài, ảnh mờ dưới chuẩn, hoặc ảnh không khớp mô tả. Mỗi ngày có hàng chục nghìn ảnh mới.
Cách làm mới: Với mỗi ảnh + tiêu đề sản phẩm, họ dùng prompt đa phương thức: "Đây là ảnh sản phẩm và tiêu đề: '{tiêu đề}'. Hãy đánh giá theo 3 tiêu chí và trả JSON: has_contact_info (ảnh có chứa số điện thoại/link/QR dẫn ra ngoài không), image_quality (rõ/mờ), title_match (ảnh có khớp tiêu đề không). Với mỗi tiêu chí, giải thích ngắn gọn lý do."
Diễn giải: Yêu cầu "giải thích ngắn gọn lý do" cực kỳ quan trọng khi làm ở quy mô lớn — nó biến kết quả từ một "yes/no" mù mờ thành thứ đội vận hành có thể kiểm chứng và tinh chỉnh. Những ảnh bị gắn cờ được đưa cho người duyệt cuối, còn phần lớn ảnh sạch được duyệt tự động.
Bài học rút ra: Với modality hình ảnh dùng để phân loại/kiểm duyệt, luôn yêu cầu model kèm lý do. Đây là cách bạn xây được một quy trình mà con người vẫn giữ vai trò kiểm soát cuối cùng.
Hướng dẫn từng bước
Đây là quy trình sáu bước để viết một prompt đa phương thức hiệu quả:
Bước 1 — Xác định modality thật sự cần. Đầu vào của bạn là ảnh, audio hay cả hai? Đừng đưa video vào nếu chỉ cần một khung hình. Càng ít modality thừa, kết quả càng tập trung và càng rẻ (audio/image tốn nhiều token hơn text).
Bước 2 — Chọn model phù hợp modality. Đọc tài liệu/biểu đồ/screenshot: Claude hoặc GPT-4o. Cần nghe giọng nói: GPT-4o hoặc Gemini. Có video: Gemini.
Bước 3 — Đặt văn cảnh TRƯỚC khi đưa nội dung. Nói cho model biết nó sắp thấy gì: "Đây là ảnh chụp hóa đơn tiếng Việt, hơi nghiêng". Câu dẫn này giúp model "chỉnh khẩu vị" trước khi xử lý.
Bước 4 — Ra yêu cầu cụ thể và định dạng đầu ra. Đừng hỏi "phân tích ảnh này". Hãy hỏi "trích xuất các trường X, Y, Z và trả về JSON". Kết quả có cấu trúc mới ghép được vào quy trình tự động.
Bước 5 — Thêm lối thoát an toàn cho phần không chắc chắn. Luôn có một câu kiểu: "Nếu không đọc/nghe rõ, ghi 'CẦN KIỂM TRA' thay vì đoán". Đây là ranh giới giữa một hệ thống đáng tin và một hệ thống bịa dữ liệu.
Bước 6 — Kiểm thử trên mẫu khó, không phải mẫu đẹp. Test bằng ảnh mờ nhất, giọng khó nghe nhất bạn có. Nếu prompt sống sót qua đó, nó sẽ ổn với 90% trường hợp còn lại.
Lỗi thường gặp & mẹo
Lỗi 1 — Kỳ vọng model đọc được chữ siêu nhỏ hoặc pixel-perfect. Model không phải máy scan OCR chuyên dụng. Với hóa đơn chữ li ti hoặc mã số dài, nó dễ nhầm 8 thành 3, O thành 0. Mẹo: chụp ảnh độ phân giải cao, cắt sát vùng cần đọc, và luôn có bước con người soát các trường số quan trọng (số tiền, mã đơn).
Lỗi 2 — Không nói văn cảnh, để model tự đoán. Đưa một biểu đồ trần trụi và hỏi "cái này nói gì?" sẽ cho câu trả lời chung chung. Hãy nói rõ: "Đây là biểu đồ doanh thu theo tháng của cửa hàng, hãy chỉ ra tháng giảm mạnh nhất và ước lượng mức giảm %."
Lỗi 3 — Đưa quá nhiều ảnh trong một prompt và mất kiểm soát thứ tự. Khi gửi 10 ảnh cùng lúc, model dễ lẫn ảnh nào là ảnh nào. Mẹo: đánh số rõ trong text ("Ảnh 1: mặt trước, Ảnh 2: mặt sau...") và yêu cầu model tham chiếu theo số đó.
Lỗi 4 — Quên rằng modality tốn token và tốn tiền. Một ảnh có thể tương đương hàng trăm đến hàng nghìn token. Xử lý hàng chục nghìn ảnh/ngày mà không tính toán sẽ khiến chi phí đội lên bất ngờ. Mẹo: nén ảnh về kích thước đủ dùng (không cần 4K để đọc một hóa đơn), và chỉ đưa modality khi thật sự cần.
Lỗi 5 — Tin tuyệt đối vào mô tả model tự bịa (hallucination thị giác). Model đôi khi "thấy" thứ không có trong ảnh, đặc biệt khi bạn hỏi dẫn dắt ("trong ảnh có logo phải không?"). Mẹo: hỏi trung lập ("trong ảnh có logo hay không?") và luôn để model được phép trả lời "không rõ".
Mẹo vàng: Với các quy trình tự động hóa quan trọng (kế toán, đơn hàng, kiểm duyệt), hãy thiết kế theo mô hình "AI xử lý — con người soát ngoại lệ". AI làm phần lớn khối lượng, con người chỉ can thiệp vào những mục AI tự đánh dấu là không chắc chắn. Đó là cách vừa nhanh vừa an toàn.
Bài tập thực hành
- Đọc hóa đơn/biên lai: Chụp một hóa đơn tiếng Việt bất kỳ (siêu thị, quán ăn). Viết một prompt đa phương thức yêu cầu trích xuất tên cửa hàng, ngày, tổng tiền, và 3 mặt hàng đầu tiên ra JSON, kèm lối thoát an toàn cho trường mờ. So sánh kết quả với ảnh thật và ghi lại chỗ model sai.
- Phân tích biểu đồ: Tìm một biểu đồ doanh thu/tăng trưởng (screenshot từ báo cáo hoặc tự vẽ). Viết prompt yêu cầu model chỉ ra xu hướng chính, điểm bất thường và một khuyến nghị hành động. Thử hai lần: một lần không cho văn cảnh, một lần có văn cảnh đầy đủ, rồi so sánh chất lượng.
- Voice sang đơn hàng (nếu model bạn dùng hỗ trợ audio): Tự thu một đoạn 20 giây "đặt hàng" bằng giọng nói tự nhiên, có cố tình nói tắt một chi tiết. Viết prompt trích xuất đơn hàng và tách rõ phần "CẦN HỎI LẠI KHÁCH". Kiểm tra xem model có phát hiện đúng chi tiết mơ hồ không.
- Nâng cao — thiết kế quy trình: Chọn một công việc trong doanh nghiệp bạn (hoặc giả định) đang phải xử lý dữ liệu hỗn tạp ảnh/tiếng. Phác thảo một quy trình 3 bước áp dụng prompt đa phương thức theo mô hình "AI xử lý — con người soát ngoại lệ", và ước lượng thời gian tiết kiệm được.
Tóm tắt
Multi-modal prompting đưa AI vượt khỏi giới hạn văn bản, cho phép nó "nhìn" ảnh và "nghe" âm thanh — mở ra những ứng dụng kinh doanh rất thực tế, đặc biệt với thị trường Việt Nam nơi khách hàng chuộng gửi ảnh và tin nhắn thoại. Các model như GPT-4o, Claude, Gemini mỗi loại mạnh ở modality khác nhau, nên nguyên tắc là chọn model theo nhu cầu công việc.
Một prompt đa phương thức tốt luôn có ba thành phần: văn cảnh dẫn dắt, nội dung phi văn bản, và yêu cầu cụ thể kèm định dạng đầu ra. Hãy nhớ rằng model không xử lý ảnh/âm thanh hoàn hảo như con người — nó có thể đọc nhầm chữ nhỏ, "thấy" thứ không có, hay đoán bừa phần mơ hồ. Vì thế, hai thói quen sống còn là: luôn cho model một lối thoát an toàn để thừa nhận khi không chắc, và giữ con người ở vòng kiểm soát cuối cho các quy trình quan trọng.
Nắm được những nguyên tắc này, bạn đã có thể tự động hóa cả một tầng công việc mà trước đây bắt buộc phải làm thủ công — từ đọc hóa đơn, xử lý đơn hàng qua giọng nói, đến kiểm duyệt ảnh ở quy mô lớn.