Llama 2 là gì? Toàn diện về mô hình ngôn ngữ lớn Llama 2

Meta vừa kết hợp với Microsoft giới thiệu Llama 2, mô hình AI (trí tuệ nhân tạo) mới với nhiều khả năng hơn so với mô hình Llama (Large Language Model Meta AI) cũ, vậy Llama 2 là gì và có gì mới so với các thế hệ trước đó.

Theo đó, khi các mô hình AI tổng quát (Generative AI) không ngừng phát triển, Meta vừa kết hợp với Microsoft cho ra mắt Llama 2, một mô hình AI thế hệ mới với nhiều năng lực mới hơn so với phiên bản tiền nhiệm trước đó là Llama.

Llama 2 là gì? Mô hình AI (trí tuệ nhân tạo) Llama 2 của Meta có gì mới?

LLama là từ viết tắt của Large Language Model Meta AI, có nghĩa là mô hình ngôn ngữ lớn do Meta AI thuộc Meta (công ty mẹ của Facebook, Instagram, WhatsApp, Threads…phát triển) phát triển. Llama 2 là phiên bản mới nhất của Llama.

Theo giới thiệu từ chính Meta, Llama 2 là mô hình AI thế hệ mới được đào tạo dựa trên sự kết hợp của các dữ liệu có sẵn công khai, Meta tuyên bố rằng hiệu suất của Llama 2 hiện mạnh hơn đáng kể so với thế hệ Llama trước đó.

Llama 2 là thế hệ tiếp theo của Llama — một tập hợp các mô hình AI có thể được sử dụng để tạo văn bản (text) hay các đoạn mã (code) khi chúng nhận được cái gọi là “lời nhắc” (hoạt động tương tự như cách người dùng nhập các từ khoá vào thanh tìm kiếm trên các công cụ tìm kiếm).

Trái ngược với các mô hình AI khác hiện có, mô hình AI Llama 2 của Meta sẽ được cung cấp miễn phí cho hoạt động nghiên cứu và sử dụng cho mục đích thương mại, điều này có nghĩa là thay vì chỉ được sử dụng riêng cho Meta, các cá nhân và tổ chức khác đều có quyền truy cập vào Llama 2 để vừa sử dụng, nghiên cứu lẫn phát triển (mã nguồn mở).

Ngoài ra, nhờ vào mối quan hệ đối tác với Microsoft, Meta cho biết Llama 2 cũng được tối ưu hóa cho Windows, điện thoại thông minh và PC thông qua hệ thống chip Snapdragon của gã khổng lồ Qualcomm. (Qualcomm cho biết nền tảng sẽ đưa Llama 2 lên các thiết bị chạy bằng chip Snapdragon vào năm 2024.)

Sự khác biệt giữa mô hình AI mới Llama 2 và mô hình tiền nhiệm Llama.

Theo sách trắng (whitepaper) được Meta công bố, Llama 2 có hai phiên bản là Llama 2 và Llama 2-Chat, trong đó Llama 2-Chat được tối ưu cho các cuộc trò chuyện hai chiều. Llama 2 và Llama 2-Chat cũng được chia nhỏ thành các phiên bản có độ phức tạp khác nhau gồm 7 tỷ tham số, 13 tỷ tham số và 70 tỷ tham số.

(“Tham số” được Meta định nghĩa là các phần của mô hình được học từ dữ liệu được sử dụng để huấn luyện. Tham số cũng được sử dụng để xác định kỹ năng giải quyết vấn đề của mô hình mà trong trường hợp này là tạo văn bản.)

Llama 2 hiện đã được đào tạo trên 2 triệu mã thông báo (tokens), trong đó “mã thông báo” đại diện cho văn bản thô — ví dụ: “fan”, “tas” và “tic” cho từ văn bản “fantastic”, con số này cao gần gấp đôi so với thế hệ Llama cũ. Theo Meta, mô hình AI càng có nhiều mã thông báo, thì càng hoạt động hiệu quả.

So sánh với các mô hình khác trên thị trường, hiện mô hình ngôn ngữ lớn (LLM) hàng đầu của Google là PaLM 2, được báo cáo là đã được đào tạo trên 3.6 triệu mã thông báo hay GPT-4 (được sử dụng trong ChatGPT của OpenAI) cũng được đào tạo trên hàng triệu mã thông báo).

Mặc dù Meta không tiết lộ các nguồn cụ thể của những dữ liệu được sử dụng để đào tạo mô hình, tuy nhiên nhiều chuyên gia trong ngành cho rằng dữ liệu đó chủ yếu là từ hệ thống web mở (Open Web) và bằng tiếng Anh.

Liên quan đến các nguồn dữ liệu mà các mô hình AI sử dụng để đào tạo hệ thống, hiện có rất nhiều tranh cãi xoay quanh việc bảo vệ bản quyền, cho rằng các chatbot AI như ChatGPT đang đánh cắp dữ liệu (sách, báo, nội dung từ trang web…) mà chưa có sự cho phép của các bên sở hữu.

Các thông tin do mô hình AI Llama 2 của Meta cung cấp có chính xác không?

Theo thừa nhận của chính Meta, Llama 2 về cơ bản cũng giống như tất cả các mô hình AI tổng quát khác, tức vẫn có những sai lệch nhất định do sự bất cân bằng và thiếu chính xác của các nội dung đầu vào (dữ liệu được sử dụng để đào tạo AI).

Tuy nhiên, thông qua mối quan hệ đối tác với Microsoft, Llama 2 đang sử dụng Azure AI Content Safety, một tính năng được thiết kế để phát hiện các nội dung “không phù hợp” trên các hình ảnh và văn bản do AI (Artificial intelligence) tạo ra, đây chính là chìa khoá giúp Llama 2 giảm thiểu các nội dung sai lệch và độc hại.

Meta cũng nhấn mạnh trong sách trắng rằng người dùng Llama 2 phải tuân thủ các điều khoản của Meta, trong đó phải chấp nhận các nguyên tắc liên quan đến “sự phát triển an toàn” của Llama 2.

Meta cho biết: “Chúng tôi tin rằng việc chia sẻ công khai các mô hình ngôn ngữ lớn sẽ giúp cho các hệ thống AI tổng quát trở nên an toàn và hữu ích hơn. Chúng tôi mong muốn được xem Llama 2 chính là kết quả của những gì mà thế giới phát triển được.”

Mặc dù vậy, các mô hình mã nguồn mở (open source models) hiện vẫn không thể tránh khỏi các rủi ro nhất định.

Tham gia Cộng đồng We’re Marketer của MarketingTrips (Trang tin trực tuyến về Marketing và Kinh doanh) để thảo luận các chủ đề về Marketing và Business tại: We’re Marketer

Nam Nguyen | MarketingTrips