Kiến trúc và bản thiết kế: Một chồng mô-đun các mô hình nền tảng

AIDO không phải là một mô hình đơn lẻ mà là một hệ thống mô-đun, có thể kết nối, toàn diện bao gồm các mô hình nền tảng dựa trên kiến trúc transformer, mỗi mô hình chuyên biệt cho một cấp độ sinh học :

• AIDO.DNA — mô hình hóa trình tự bộ gen, đặt nền tảng cho việc hiểu các biến thể di truyền và tác động của chúng .
• AIDO.RNA — mô hình 1,6 tỷ tham số, được tiền huấn luyện trên 42 triệu trình tự RNA không mã hóa (non-coding RNA) ở độ phân giải từng nucleotide .
• AIDO.Protein — học trình tự, cấu trúc và chức năng của protein .
• AIDO.Cell — một loạt các mô hình Transformer dạng encoder-only với tới 650 triệu tham số, được tiền huấn luyện trên 50 triệu tế bào người từ nhiều mô khác nhau, bao gồm khoảng 20.000 gen mỗi tế bào .
• AIDO.Tissue — mô hình hóa hành vi ở cấp độ mô và tương tác tế bào .
• AIDO.Biology — một lớp 'mô hình thế giới' (world model) bao trùm, tích hợp tất cả các cấp độ thấp hơn để mô phỏng kết quả ở cấp độ sinh vật .

Điểm thiết kế quan trọng là các mô-đun này có thể kết nối với nhau – do đó, một tác động đơn lẻ, như một phân tử thuốc mới hay một chỉnh sửa di truyền, có thể được truy tìm một cách logic qua các cấp độ: từ tương tác phân tử, qua phản ứng tế bào và hiệu ứng mô, cho đến kết quả sức khỏe dự đoán .

Mục tiêu: Một bộ mô phỏng đa quy mô và 'Mô hình thế giới' của sinh học

Tham vọng trung tâm là tạo ra một 'mô hình thế giới' (world model) của sinh học có thể mô phỏng cách một thay đổi ở cấp độ DNA lan truyền qua protein, tế bào, mô và các kiểu hình ở cấp độ sinh vật . Điều này sẽ cho phép các nhà nghiên cứu:

• Mô phỏng bệnh tật và các quá trình sinh học phức tạp bằng máy tính, bỏ qua nhiều năm thí nghiệm trong phòng thí nghiệm ướt (wet-lab) .
• Dự đoán tác dụng và độc tính của thuốc trước khi tiến hành bất kỳ thí nghiệm ướt nào, giúp giảm đáng kể số lượng ứng viên cần được kiểm tra thực tế .
• Nhanh chóng kiểm tra hàng triệu tác động in silico, thu hẹp nhóm ứng viên cho việc xác nhận bằng thực nghiệm chỉ còn lại những ứng viên hứa hẹn nhất .

Dự án này được mô tả giống như xây dựng một 'máy bay mô phỏng' cho y học, nơi các nhà khoa học có thể thử nghiệm ảo trước khi cam kết thực hiện các thí nghiệm trong thế giới thực .

So sánh với các nỗ lực Tế bào Ảo khác

Khái niệm về một tế bào ảo do AI điều khiển không phải là duy nhất của nhóm AIDO. Chan Zuckerberg BioHub (CZI), hợp tác với Stanford và Genentech, đã công bố một bài báo quan điểm đồng thời trên tạp chí Nature (tháng 12 năm 2024) về Tế bào Ảo AI (AI Virtual Cells - AIVC) – các mô hình mạng nơ-ron lớn đa quy mô, đa phương thức được thiết kế để đại diện cho các phân tử, tế bào và mô . CZI cũng đã tổ chức một Hội thảo về Tế bào Ảo (Virtual Cells Workshop), nơi xác định nhiều nút thắt tương tự, bao gồm tính không đồng nhất của dữ liệu, nhiễu, thách thức về khả năng tái tạo và nhu cầu về các điểm chuẩn đa phương thức tốt hơn .

Sự khác biệt chính giữa hai dự án hàng đầu:

Bất chấp sự khác biệt về phạm vi và giai đoạn, cả hai dự án đều chia sẻ một thách thức nền tảng: tích hợp dữ liệu omics cực kỳ không đồng nhất – như scRNA-seq, proteomics, epigenomics, metabolomics – vào các mô hình thống nhất, mạch lạc .

Những hạn chế được thừa nhận

Bài báo AIDO và các bài viết liên quan xác định một số hạn chế đáng kể, làm dịu đi sự phấn khích ban đầu :

• Dữ liệu huấn luyện thiên lệch và không đầy đủ: Các tập dữ liệu sinh học hiện tại bị nghiêng mạnh về các dòng tế bào được nghiên cứu kỹ lưỡng, các bệnh phổ biến và các quần thể có nguồn gốc châu Âu. Điều này có thể làm sai lệch các dự đoán của mô hình và có khả năng làm trầm trọng thêm sự bất bình đẳng về nhân khẩu học trong chăm sóc sức khỏe .
• Sự biến thiên của bệnh nhân: Sự đa dạng sinh học của con người về nền tảng di truyền, độ tuổi và tình trạng sức khỏe là rất lớn và ít được các nhóm huấn luyện hiện có nắm bắt. Các tác giả lưu ý rõ ràng rằng các mô hình có thể không khái quát hóa được khi áp dụng cho các quần thể ít được đại diện .
• Tích hợp dữ liệu không đồng nhất: Kết hợp dữ liệu qua các phương thức khác nhau – từ phiên mã học (transcriptomics) đến protein học (proteomics), hình ảnh học và hồ sơ lâm sàng – vẫn còn khó khăn về mặt kỹ thuật do sự khác biệt về thang đo, nhiễu đo lường và các mẫu dữ liệu bị thiếu .
• Thiếu các điểm chuẩn tiêu chuẩn hóa: Nếu không có khung đánh giá đa lĩnh vực, rất khó để so sánh khách quan các mô hình từ các nhóm khác nhau hoặc đánh giá độ mạnh mẽ trong thế giới thực .

Ứng dụng: Sàng lọc ứng viên thuốc và ứng phó với dịch bệnh

Hai ứng dụng được nhấn mạnh nổi bật nhất như là mục tiêu ngắn hạn của AIDO :

• Sàng lọc ứng viên thuốc: AIDO có thể mô phỏng hàng triệu hợp chất in silico, dự đoán khả năng liên kết phân tử, phản ứng tế bào, độc tính ở cấp độ mô và hiệu quả ở cấp độ sinh vật của chúng trước bất kỳ công việc phòng thí nghiệm ướt nào. Điều này sẽ thu hẹp đáng kể nhóm ứng viên cần kiểm tra thực nghiệm, giảm cả chi phí và tỷ lệ thất bại của quá trình phát triển tiền lâm sàng .

• Tăng tốc ứng phó với các đợt bùng phát bệnh truyền nhiễm: Vì hệ thống có tính mô-đun và được huấn luyện trên các mẫu hình sinh học nền tảng (thay vì chỉ một mầm bệnh duy nhất), nó có thể nhanh chóng được điều chỉnh để mô hình hóa một loại virus hoặc mối đe dọa vi khuẩn mới. Các nhà nghiên cứu có thể mô phỏng động lực lây nhiễm, kiểm tra thư viện các loại thuốc hiện có để tái sử dụng và dự đoán phản ứng miễn dịch trên khắp cơ thể ảo trong vài ngày hoặc vài tuần thay vì nhiều tháng .

Kiến trúc và bản thiết kế: Một chồng mô-đun các mô hình nền tảng

AIDO không phải là một mô hình đơn lẻ mà là một hệ thống mô-đun, có thể kết nối, toàn diện bao gồm các mô hình nền tảng dựa trên kiến trúc transformer, mỗi mô hình chuyên biệt cho một cấp độ sinh học :

• AIDO.DNA — mô hình hóa trình tự bộ gen, đặt nền tảng cho việc hiểu các biến thể di truyền và tác động của chúng .
• AIDO.RNA — mô hình 1,6 tỷ tham số, được tiền huấn luyện trên 42 triệu trình tự RNA không mã hóa (non-coding RNA) ở độ phân giải từng nucleotide .
• AIDO.Protein — học trình tự, cấu trúc và chức năng của protein .
• AIDO.Cell — một loạt các mô hình Transformer dạng encoder-only với tới 650 triệu tham số, được tiền huấn luyện trên 50 triệu tế bào người từ nhiều mô khác nhau, bao gồm khoảng 20.000 gen mỗi tế bào .
• AIDO.Tissue — mô hình hóa hành vi ở cấp độ mô và tương tác tế bào .
• AIDO.Biology — một lớp 'mô hình thế giới' (world model) bao trùm, tích hợp tất cả các cấp độ thấp hơn để mô phỏng kết quả ở cấp độ sinh vật .

Điểm thiết kế quan trọng là các mô-đun này có thể kết nối với nhau – do đó, một tác động đơn lẻ, như một phân tử thuốc mới hay một chỉnh sửa di truyền, có thể được truy tìm một cách logic qua các cấp độ: từ tương tác phân tử, qua phản ứng tế bào và hiệu ứng mô, cho đến kết quả sức khỏe dự đoán .

Mục tiêu: Một bộ mô phỏng đa quy mô và 'Mô hình thế giới' của sinh học

Tham vọng trung tâm là tạo ra một 'mô hình thế giới' (world model) của sinh học có thể mô phỏng cách một thay đổi ở cấp độ DNA lan truyền qua protein, tế bào, mô và các kiểu hình ở cấp độ sinh vật . Điều này sẽ cho phép các nhà nghiên cứu:

• Mô phỏng bệnh tật và các quá trình sinh học phức tạp bằng máy tính, bỏ qua nhiều năm thí nghiệm trong phòng thí nghiệm ướt (wet-lab) .
• Dự đoán tác dụng và độc tính của thuốc trước khi tiến hành bất kỳ thí nghiệm ướt nào, giúp giảm đáng kể số lượng ứng viên cần được kiểm tra thực tế .
• Nhanh chóng kiểm tra hàng triệu tác động in silico, thu hẹp nhóm ứng viên cho việc xác nhận bằng thực nghiệm chỉ còn lại những ứng viên hứa hẹn nhất .

Dự án này được mô tả giống như xây dựng một 'máy bay mô phỏng' cho y học, nơi các nhà khoa học có thể thử nghiệm ảo trước khi cam kết thực hiện các thí nghiệm trong thế giới thực .

So sánh với các nỗ lực Tế bào Ảo khác

Khái niệm về một tế bào ảo do AI điều khiển không phải là duy nhất của nhóm AIDO. Chan Zuckerberg BioHub (CZI), hợp tác với Stanford và Genentech, đã công bố một bài báo quan điểm đồng thời trên tạp chí Nature (tháng 12 năm 2024) về Tế bào Ảo AI (AI Virtual Cells - AIVC) – các mô hình mạng nơ-ron lớn đa quy mô, đa phương thức được thiết kế để đại diện cho các phân tử, tế bào và mô . CZI cũng đã tổ chức một Hội thảo về Tế bào Ảo (Virtual Cells Workshop), nơi xác định nhiều nút thắt tương tự, bao gồm tính không đồng nhất của dữ liệu, nhiễu, thách thức về khả năng tái tạo và nhu cầu về các điểm chuẩn đa phương thức tốt hơn .

Sự khác biệt chính giữa hai dự án hàng đầu:

Bất chấp sự khác biệt về phạm vi và giai đoạn, cả hai dự án đều chia sẻ một thách thức nền tảng: tích hợp dữ liệu omics cực kỳ không đồng nhất – như scRNA-seq, proteomics, epigenomics, metabolomics – vào các mô hình thống nhất, mạch lạc .

Những hạn chế được thừa nhận

Bài báo AIDO và các bài viết liên quan xác định một số hạn chế đáng kể, làm dịu đi sự phấn khích ban đầu :

• Dữ liệu huấn luyện thiên lệch và không đầy đủ: Các tập dữ liệu sinh học hiện tại bị nghiêng mạnh về các dòng tế bào được nghiên cứu kỹ lưỡng, các bệnh phổ biến và các quần thể có nguồn gốc châu Âu. Điều này có thể làm sai lệch các dự đoán của mô hình và có khả năng làm trầm trọng thêm sự bất bình đẳng về nhân khẩu học trong chăm sóc sức khỏe .
• Sự biến thiên của bệnh nhân: Sự đa dạng sinh học của con người về nền tảng di truyền, độ tuổi và tình trạng sức khỏe là rất lớn và ít được các nhóm huấn luyện hiện có nắm bắt. Các tác giả lưu ý rõ ràng rằng các mô hình có thể không khái quát hóa được khi áp dụng cho các quần thể ít được đại diện .
• Tích hợp dữ liệu không đồng nhất: Kết hợp dữ liệu qua các phương thức khác nhau – từ phiên mã học (transcriptomics) đến protein học (proteomics), hình ảnh học và hồ sơ lâm sàng – vẫn còn khó khăn về mặt kỹ thuật do sự khác biệt về thang đo, nhiễu đo lường và các mẫu dữ liệu bị thiếu .
• Thiếu các điểm chuẩn tiêu chuẩn hóa: Nếu không có khung đánh giá đa lĩnh vực, rất khó để so sánh khách quan các mô hình từ các nhóm khác nhau hoặc đánh giá độ mạnh mẽ trong thế giới thực .

Ứng dụng: Sàng lọc ứng viên thuốc và ứng phó với dịch bệnh

Hai ứng dụng được nhấn mạnh nổi bật nhất như là mục tiêu ngắn hạn của AIDO :

• Sàng lọc ứng viên thuốc: AIDO có thể mô phỏng hàng triệu hợp chất in silico, dự đoán khả năng liên kết phân tử, phản ứng tế bào, độc tính ở cấp độ mô và hiệu quả ở cấp độ sinh vật của chúng trước bất kỳ công việc phòng thí nghiệm ướt nào. Điều này sẽ thu hẹp đáng kể nhóm ứng viên cần kiểm tra thực nghiệm, giảm cả chi phí và tỷ lệ thất bại của quá trình phát triển tiền lâm sàng .

• Tăng tốc ứng phó với các đợt bùng phát bệnh truyền nhiễm: Vì hệ thống có tính mô-đun và được huấn luyện trên các mẫu hình sinh học nền tảng (thay vì chỉ một mầm bệnh duy nhất), nó có thể nhanh chóng được điều chỉnh để mô hình hóa một loại virus hoặc mối đe dọa vi khuẩn mới. Các nhà nghiên cứu có thể mô phỏng động lực lây nhiễm, kiểm tra thư viện các loại thuốc hiện có để tái sử dụng và dự đoán phản ứng miễn dịch trên khắp cơ thể ảo trong vài ngày hoặc vài tuần thay vì nhiều tháng .