AI lâm sàng đang tiến nhanh hơn cơ chế giám sát an toàn, cảnh báo từ TU Dresden

Góc nhìn theo vòng đời cho thấy một hệ thống có thể đạt kết quả tốt trong môi trường kiểm thử có kiểm soát nhưng vẫn không an toàn khi vận hành thực tế. An ninh mạng, hành vi con người, bối cảnh lâm sàng và quy trình quản trị của từng tổ chức đều có thể làm thay đổi kết quả.

Muốn triển khai có trách nhiệm cần những gì?

Các tác giả kêu gọi áp dụng những biện pháp an toàn vẫn tiếp tục hoạt động sau khi hệ thống được đưa vào sử dụng. Trong đó có phát triển phần mềm an toàn, quản trị chặt chẽ dữ liệu huấn luyện, kiểm thử tại chính bối cảnh lâm sàng dự kiến, phân định rõ trách nhiệm của con người và giám sát liên tục hiệu năng cũng như sự cố.

Trên thực tế, bệnh viện và hệ thống y tế không chỉ cần biết một công cụ có tạo ra văn bản hợp lý hay không. Họ còn phải xác định:

• ai được phép sử dụng công cụ và được dùng cho nhiệm vụ nào;
• hệ thống có thể truy cập dữ liệu gì và dữ liệu được chuyển đến đâu;
• nhân viên y tế phải kiểm chứng đầu ra của AI như thế nào;
• ai chịu trách nhiệm khi bệnh án hoặc khuyến nghị có sự hỗ trợ của AI bị sai; và
• tổ chức sẽ điều tra, tạm dừng hoặc rút công cụ ra sao khi rủi ro xuất hiện.

Mô hình giám sát hai tầng được đề xuất

Để củng cố trách nhiệm giải trình, nhóm nghiên cứu đề xuất hai lớp giám sát bổ trợ cho nhau.

Nhóm quản trị AI tại cơ sở y tế

Mỗi bệnh viện hoặc tổ chức chăm sóc sức khỏe nên có nhóm chuyên trách để phê duyệt công cụ AI, đánh giá công cụ trong điều kiện địa phương, phân định trách nhiệm và giám sát quá trình vận hành. Cách tiếp cận này giúp các quyết định gắn với bệnh nhân, quy trình, hạ tầng và nghĩa vụ nghề nghiệp cụ thể của từng cơ sở.

Trung tâm Vận hành An ninh AI tập trung

Tổng quan cũng đề xuất các Trung tâm Vận hành An ninh AI tập trung, thường được gọi là AI SOC. Những trung tâm này có thể phát hiện sự cố giữa nhiều tổ chức, chia sẻ tín hiệu về mối đe dọa và phối hợp phản ứng. Một cuộc tấn công hoặc lỗi xảy ra ở một hệ thống AI lâm sàng có thể cho thấy lỗ hổng rộng hơn, ảnh hưởng đến nhiều cơ sở khác.

Kết hợp lại, hai tầng này nối trách nhiệm lâm sàng tại địa phương với năng lực chia sẻ thông tin an ninh ở quy mô rộng hơn.

Vì sao quy định thiết bị y tế hiện nay có thể chưa đủ?

Các khung pháp lý truyền thống về thiết bị y tế phần lớn được xây dựng cho những sản phẩm tương đối ổn định, có thể được đánh giá tại một thời điểm cụ thể. Phần mềm AI lâm sàng lại có thể thay đổi hành vi và hồ sơ rủi ro khi mô hình được cập nhật, dữ liệu đầu vào biến động, quy trình làm việc thay đổi hoặc kẻ tấn công phát triển kỹ thuật mới.

Điều này tạo ra khoảng trống quản lý. Việc được phê duyệt hoặc đánh giá tại một thời điểm không tự động chứng minh rằng hệ thống vẫn an toàn trong mọi bối cảnh về sau. Các công trình rộng hơn của nhóm nghiên cứu TU Dresden về quản lý AI y tế cũng cho rằng khoa học quản lý cần theo kịp tốc độ phát triển của công nghệ.

Với các tổ chức y tế, triển khai không nên được xem là điểm kết thúc của giám sát mà là điểm bắt đầu. Việc kiểm tra thường xuyên cần bao gồm hiệu năng, an toàn, an ninh mạng, quyền riêng tư và tính công bằng; đồng thời phải có cơ chế báo cáo sự cố và đình chỉ hệ thống khi cần thiết.

Sự đồng thuận của bệnh nhân cũng là một biện pháp an toàn kỹ thuật

Những lo ngại này thể hiện rõ trong việc sử dụng các công cụ AI ghi chép cuộc khám, hay AI scribe. Hướng dẫn lâm sàng của Australia yêu cầu bệnh nhân được thông tin về mục đích, phạm vi, lợi ích, rủi ro cũng như cơ chế theo dõi an toàn và hiệu năng của hệ thống AI. Hướng dẫn cũng khẳng định nhân viên y tế vẫn chịu trách nhiệm về việc chăm sóc và hồ sơ được tạo ra với sự hỗ trợ của AI.

Hướng dẫn nghề nghiệp dành cho bác sĩ đa khoa tại Australia nhấn mạnh rằng bác sĩ cần hiểu và kiểm thử AI scribe, lấy sự đồng thuận trước mỗi lần sử dụng, bảo vệ dữ liệu được lưu trữ và bảo đảm hồ sơ phản ánh chính xác nội dung cuộc khám.

Các thông tin gần đây cho thấy cách các cơ sở y tế tại Australia lấy sự đồng thuận có sự khác biệt đáng kể, trong đó có trường hợp chỉ dùng biển thông báo ở phòng chờ. Cơ quan quản lý y tế của nước này cũng nhấn mạnh bác sĩ phải kiểm tra độ chính xác của toàn bộ nội dung do AI tạo ra.

Những ví dụ đó cho thấy sự đồng thuận không thể chỉ là một ô cần đánh dấu trong thủ tục. Bệnh nhân cần được cung cấp thông tin đủ ý nghĩa, nhân viên y tế phải hiểu đủ về công nghệ để sử dụng an toàn, còn trách nhiệm cuối cùng vẫn thuộc về bác sĩ. Hiện chưa có bằng chứng cho thấy tình trạng đồng thuận không đầy đủ hoặc hiểu biết hạn chế phổ biến đến mức nào trên toàn Australia. Tuy vậy, các trường hợp được nêu củng cố lập luận rộng hơn của tổng quan: minh bạch, giám sát của con người và trách nhiệm giải trình của tổ chức là những biện pháp kiểm soát an toàn trong vận hành, không phải phần giấy tờ bổ sung sau khi triển khai.

Bài học thực tế cho các tổ chức y tế

Thông điệp của tổng quan không phải là bác bỏ AI lâm sàng, mà là đưa ra một chuẩn mực cho việc triển khai. Mô hình ngôn ngữ lớn có thể hỗ trợ những quy trình có giá trị, nhưng việc ứng dụng an toàn đòi hỏi các tổ chức xem đây là những hệ thống xã hội–kỹ thuật luôn biến đổi, thay vì chỉ là một phần mềm thông thường.

Trước và sau khi đưa vào sử dụng, lãnh đạo y tế cần sẵn sàng đánh giá mô hình, bảo vệ hạ tầng liên quan, đào tạo người dùng, giải thích cho bệnh nhân khi AI tham gia vào quá trình chăm sóc, theo dõi hiệu năng trong thực tế và xác định rõ ai có quyền can thiệp khi hệ thống mắc lỗi.

Nếu những lớp kiểm soát đó chưa được thiết lập, tốc độ ứng dụng AI lâm sàng sẽ tiếp tục vượt trước cơ chế giám sát cần có để công nghệ này trở nên đáng tin cậy.