Chi phí để phát triển và bảo trì phần mềm có thể rất cao.
Nvidia sản xuất hầu hết các GPU cho ngành công nghiệp AI và con chip dành cho trung tâm dữ liệu chính của họ có giá 10.000 đô la.
Các nhà phân tích và công nghệ ước tính rằng quy trình quan trọng để đào tạo một mô hình ngôn ngữ lớn như GPT-3 có thể tiêu tốn hơn 4 triệu USD.
Trước khi ChatGPT của OpenAI xuất hiện và thu hút sự chú ý của thế giới nhờ khả năng tạo ra các câu hấp dẫn, một công ty khởi nghiệp nhỏ có tên Latitude đã khiến người tiêu dùng kinh ngạc với trò chơi AI Dungeon cho phép họ sử dụng trí tuệ nhân tạo để tạo ra những câu chuyện giả tưởng dựa trên lời nhắc của họ.
Nhưng khi AI Dungeon trở nên phổ biến hơn, Giám đốc điều hành của Latitude, Nick Walton, nhớ lại rằng chi phí để duy trì trò chơi nhập vai dựa trên văn bản bắt đầu tăng vọt. Phần mềm tạo văn bản của AI Dungeon được cung cấp bởi công nghệ ngôn ngữ GPT do Microsoft cung cấp
phòng thí nghiệm nghiên cứu AI được hỗ trợ bởi OpenAI. Càng nhiều người chơi AI Dungeon, hóa đơn mà Latitude phải trả cho OpenAI càng lớn.
Thêm vào tình trạng khó khăn là Walton cũng phát hiện ra các nhà tiếp thị nội dung đang sử dụng Hầm ngục AI để tạo bản sao quảng cáo, một cách sử dụng Hầm ngục AI mà nhóm của ông không bao giờ lường trước được, nhưng điều đó cuối cùng lại làm tăng thêm hóa đơn AI của công ty.
Vào lúc cao điểm nhất vào năm 2021, Walton ước tính Latitude đã chi gần 200.000 đô la mỗi tháng cho cái gọi là phần mềm AI tổng quát của OpenAI và Dịch vụ web của Amazon để theo kịp hàng triệu truy vấn của người dùng mà nó cần xử lý mỗi ngày.
Walton nói: “Chúng tôi nói đùa rằng chúng tôi có nhân viên là con người và chúng tôi có nhân viên AI, và chúng tôi đã chi cho mỗi người số tiền tương đương nhau. “Chúng tôi đã chi hàng trăm nghìn đô la mỗi tháng cho AI và chúng tôi không phải là một công ty khởi nghiệp lớn, vì vậy đó là một chi phí rất lớn.”
Walton cho biết vào cuối năm 2021, Latitude chuyển từ sử dụng phần mềm GPT của OpenAI sang một phần mềm ngôn ngữ rẻ hơn nhưng vẫn có khả năng do công ty khởi nghiệp AI21 Labs cung cấp, đồng thời cho biết thêm rằng công ty khởi nghiệp này cũng kết hợp các mô hình ngôn ngữ miễn phí và mã nguồn mở vào dịch vụ của mình để giảm chi phí. Walton cho biết, hóa đơn AI tổng quát của Latitude đã giảm xuống dưới 100.000 đô la một tháng và công ty khởi nghiệp tính phí người chơi đăng ký hàng tháng cho các tính năng AI nâng cao hơn để giúp giảm chi phí.
Các hóa đơn AI đắt đỏ của Latitude nhấn mạnh một sự thật khó chịu đằng sau sự bùng nổ gần đây của các công nghệ AI tổng quát: Chi phí để phát triển và duy trì phần mềm có thể cực kỳ cao, cả đối với các công ty phát triển các công nghệ cơ bản, thường được gọi là ngôn ngữ lớn hoặc các mô hình nền tảng. và những người sử dụng AI để cung cấp năng lượng cho phần mềm của riêng họ.
Chi phí học máy cao là một thực tế khó chịu trong ngành khi các nhà đầu tư mạo hiểm để mắt đến các công ty có khả năng trị giá hàng nghìn tỷ đô la và các công ty lớn như Microsoft, Meta .
và Google
sử dụng nguồn vốn đáng kể của họ để phát triển vị trí dẫn đầu về công nghệ mà những đối thủ nhỏ hơn không thể bắt kịp.
Nhưng nếu tỷ suất lợi nhuận cho các ứng dụng AI vĩnh viễn nhỏ hơn so với tỷ suất lợi nhuận của phần mềm dưới dạng dịch vụ trước đây, do chi phí điện toán cao, thì điều đó có thể cản trở sự bùng nổ hiện tại.
Chi phí cao cho đào tạo và “suy luận” - thực sự đang chạy - các mô hình ngôn ngữ lớn là chi phí cấu trúc khác với sự bùng nổ máy tính trước đây. Ngay cả khi phần mềm được xây dựng hoặc đào tạo, nó vẫn cần một lượng điện toán khổng lồ để chạy các mô hình ngôn ngữ lớn vì chúng thực hiện hàng tỷ phép tính mỗi khi chúng trả lời phản hồi cho một lời nhắc. Để so sánh, việc phân phát các ứng dụng hoặc trang web yêu cầu tính toán ít hơn nhiều.
Những tính toán này cũng yêu cầu phần cứng chuyên dụng. Mặc dù bộ xử lý máy tính truyền thống có thể chạy các mô hình máy học, nhưng chúng rất chậm. Hầu hết quá trình đào tạo và suy luận hiện diễn ra trên bộ xử lý đồ họa hoặc GPU, ban đầu được dùng để chơi trò chơi 3D, nhưng đã trở thành tiêu chuẩn cho các ứng dụng AI vì chúng có thể thực hiện đồng thời nhiều phép tính đơn giản.
Nvidia
sản xuất hầu hết các GPU cho ngành công nghiệp AI và con chip dành cho trung tâm dữ liệu chính của nó có giá 10.000 USD . Các nhà khoa học xây dựng những mô hình này thường nói đùa rằng chúng “ làm tan chảy GPU ”.
Các nhà phân tích và công nghệ ước tính rằng quy trình quan trọng để đào tạo một mô hình ngôn ngữ lớn như GPT-3 của OpenAI có thể tiêu tốn hơn 4 triệu USD. Rowan Curran, một nhà phân tích của Forrester, người tập trung vào AI và học máy, cho biết các mô hình ngôn ngữ tiên tiến hơn có thể tốn hơn “hàng triệu chữ số cao” để đào tạo.
Ví dụ, mô hình LLaMA lớn nhất của Meta được phát hành vào tháng trước đã sử dụng 2.048 GPU Nvidia A100 để đào tạo trên 1,4 nghìn tỷ mã thông báo (750 từ là khoảng 1.000 mã thông báo), mất khoảng 21 ngày, công ty cho biết khi phát hành mô hình vào tháng trước.
Mất khoảng 1 triệu giờ GPU để đào tạo. Với giá chuyên dụng từ AWS , sẽ có giá hơn 2,4 triệu đô la. Và với 65 tỷ tham số, nó nhỏ hơn so với các mô hình GPT hiện tại tại OpenAI, như ChatGPT-3, có 175 tỷ tham số.
Clement Delangue, Giám đốc điều hành của công ty khởi nghiệp AI Hugging Face, cho biết quá trình đào tạo mô hình ngôn ngữ lớn Bloom của công ty mất hơn hai tháng rưỡi và yêu cầu quyền truy cập vào một siêu máy tính “tương đương với 500 GPU. ”
Ông nói, các tổ chức xây dựng các mô hình ngôn ngữ lớn phải thận trọng khi họ đào tạo lại phần mềm, giúp cải thiện khả năng của nó, bởi vì nó rất tốn kém.
“Điều quan trọng là phải nhận ra rằng những mô hình này không được đào tạo mọi lúc, giống như mọi ngày,” Delangue nói, đồng thời lưu ý rằng đó là lý do tại sao một số mô hình, chẳng hạn như ChatGPT, không có kiến thức về các sự kiện gần đây. Anh ấy nói rằng kiến thức của ChatGPT sẽ dừng lại vào năm 2021.
Delangue nói: “Chúng tôi thực sự đang tiến hành đào tạo ngay bây giờ cho phiên bản thứ hai của Bloom và sẽ không tốn quá 10 triệu đô la để đào tạo lại. “Vì vậy, đó là điều mà chúng tôi không muốn làm hàng tuần.”
Suy luận và ai trả tiền cho nó
Để sử dụng một mô hình máy học đã được đào tạo để đưa ra dự đoán hoặc tạo văn bản, các kỹ sư sử dụng mô hình này trong một quy trình gọi là “suy luận”, quy trình này có thể tốn kém hơn nhiều so với đào tạo vì có thể cần chạy hàng triệu lần cho một sản phẩm phổ biến.
Đối với một sản phẩm phổ biến như ChatGPT - công ty đầu tư UBS ước tính đã đạt 100 triệu người dùng hoạt động hàng tháng vào tháng 1 - Curran tin rằng OpenAI có thể tiêu tốn 40 triệu USD để xử lý hàng triệu lời nhắc mà mọi người đưa vào phần mềm trong tháng đó.
Chi phí tăng vọt khi những công cụ này được sử dụng hàng tỷ lần mỗi ngày. Các nhà phân tích tài chính ước tính chatbot Bing AI của Microsoft, được cung cấp bởi mô hình OpenAI ChatGPT, cần ít nhất 4 tỷ đô la cơ sở hạ tầng để phục vụ phản hồi cho tất cả người dùng Bing.
Ví dụ, trong trường hợp của Latitude, trong khi công ty khởi nghiệp không phải trả tiền để đào tạo mô hình ngôn ngữ OpenAI cơ bản mà nó đang truy cập, thì nó phải tính đến chi phí suy luận tương tự như “nửa xu cho mỗi cuộc gọi ” trên “vài triệu yêu cầu mỗi ngày,” người phát ngôn của Latitude cho biết.
“Và tôi đã tương đối bảo thủ,” Curran nói về những tính toán của mình.
Để gieo mầm cho sự bùng nổ AI hiện nay, các nhà đầu tư mạo hiểm và những gã khổng lồ công nghệ đã đầu tư hàng tỷ đô la vào các công ty khởi nghiệp chuyên về công nghệ AI tổng hợp. Chẳng hạn, Microsoft đã đầu tư tới 10 tỷ đô la vào OpenAI giám sát của GPT, theo báo cáo phương tiện truyền thông vào tháng Giêng. Lực lượng bán hàng
chi nhánh đầu tư mạo hiểm của, Salesforce Ventures, gần đây đã ra mắt một quỹ trị giá 250 triệu đô la phục vụ cho các công ty khởi nghiệp AI sáng tạo.
Như nhà đầu tư Semil Shah của các công ty VC Haystack và Lightspeed Venture Partners đã mô tả trên Twitter, “Đô la VC đã chuyển từ trợ cấp cho việc đi taxi và giao bánh burrito của bạn sang LLM và máy tính AI tổng hợp.”
Nhiều doanh nhân nhìn thấy rủi ro khi dựa vào các mô hình AI có khả năng được trợ cấp mà họ không kiểm soát và chỉ trả tiền cho mỗi lần sử dụng.
“Khi tôi nói chuyện với những người bạn AI của mình tại các hội nghị khởi nghiệp, đây là điều tôi nói với họ: Đừng chỉ phụ thuộc vào OpenAI, ChatGPT hay bất kỳ mô hình ngôn ngữ lớn nào khác,” Suman Kanuganti, người sáng lập personal.ai, một chatbot hiện đang tham gia chế độ thử nghiệm. “Bởi vì các doanh nghiệp thay đổi, tất cả đều thuộc sở hữu của các công ty công nghệ lớn, phải không? Nếu họ cắt quyền truy cập, bạn sẽ biến mất.
Các công ty như công ty công nghệ doanh nghiệp Conversica đang khám phá cách họ có thể sử dụng công nghệ thông qua dịch vụ đám mây Azure của Microsoft với mức giá chiết khấu hiện tại.
Trong khi Giám đốc điều hành của Conversica, Jim Kaskade từ chối bình luận về số tiền mà công ty khởi nghiệp đang trả, ông thừa nhận rằng chi phí được trợ cấp là điều đáng hoan nghênh vì nó khám phá cách sử dụng các mô hình ngôn ngữ một cách hiệu quả.
Kaskade nói: “Nếu họ thực sự cố gắng hòa vốn, họ sẽ tính phí cao hơn rất nhiều.
Làm thế nào nó có thể thay đổi
Không rõ liệu tính toán AI có tiếp tục đắt đỏ khi ngành này phát triển hay không. Các công ty sản xuất mô hình nền tảng, nhà sản xuất chất bán dẫn và công ty khởi nghiệp đều nhìn thấy cơ hội kinh doanh trong việc giảm giá chạy phần mềm AI.
Nvidia, công ty chiếm khoảng 95% thị trường chip AI, tiếp tục phát triển các phiên bản mạnh mẽ hơn được thiết kế dành riêng cho máy học, nhưng những cải tiến về tổng sức mạnh chip trong toàn ngành đã chậm lại trong những năm gần đây.
Tuy nhiên, Giám đốc điều hành Nvidia Jensen Huang tin rằng trong 10 năm nữa, AI sẽ hiệu quả hơn “một triệu lần” nhờ những cải tiến không chỉ ở chip mà còn ở phần mềm và các bộ phận máy tính khác.
“Định luật Moore, trong những ngày đẹp nhất của nó, sẽ mang lại lợi nhuận gấp 100 lần trong một thập kỷ,” Huang cho biết vào tháng trước trong một cuộc gọi thu nhập. “Bằng cách đưa ra bộ xử lý mới, hệ thống mới, kết nối mới, khung và thuật toán mới, đồng thời làm việc với các nhà khoa học dữ liệu, nhà nghiên cứu AI trên các mô hình mới, trong toàn bộ khoảng thời gian đó, chúng tôi đã khiến quá trình xử lý mô hình ngôn ngữ lớn nhanh hơn hàng triệu lần.”
Một số công ty khởi nghiệp đã tập trung vào chi phí cao của AI như một cơ hội kinh doanh.
“Không ai nói rằng ‘Bạn nên xây dựng thứ gì đó được xây dựng có mục đích để suy luận.’ Nó sẽ trông như thế nào?” Sid Sheth, người sáng lập D-Matrix, một công ty khởi nghiệp xây dựng hệ thống tiết kiệm tiền cho suy luận bằng cách xử lý nhiều hơn trong bộ nhớ của máy tính, trái ngược với trên GPU, cho biết.
“Ngày nay, mọi người đang sử dụng GPU, GPU NVIDIA, để thực hiện hầu hết các suy luận của họ. Họ mua các hệ thống DGX mà NVIDIA bán với giá rất cao. Vấn đề với suy luận là nếu khối lượng công việc tăng đột biến rất nhanh, đó là điều đã xảy ra với ChatGPT, thì nó đã đạt được một triệu người dùng trong năm ngày. Không có cách nào dung lượng GPU của bạn có thể theo kịp điều đó bởi vì nó không được chế tạo cho điều đó. Nó được xây dựng để đào tạo, để tăng tốc đồ họa,” anh nói.
Delangue, Giám đốc điều hành của HuggingFace, tin rằng nhiều công ty sẽ được phục vụ tốt hơn khi tập trung vào các mô hình cụ thể, nhỏ hơn, rẻ hơn để đào tạo và vận hành, thay vì các mô hình ngôn ngữ lớn đang thu hút hầu hết sự chú ý.
Trong khi đó, OpenAI đã thông báo vào tháng trước rằng họ đang giảm chi phí cho các công ty khi truy cập vào các mô hình GPT của mình. Bây giờ nó tính phí một phần năm của một xu cho khoảng 750 từ đầu ra.
Giá thấp hơn của OpenAI đã thu hút sự chú ý của nhà sản xuất AI Dungeon Latitude.
Người phát ngôn của Latitude cho biết: “Tôi nghĩ thật công bằng khi nói rằng đó chắc chắn là một sự thay đổi lớn mà chúng tôi rất vui khi thấy xảy ra trong ngành và chúng tôi liên tục đánh giá cách chúng tôi có thể mang lại trải nghiệm tốt nhất cho người dùng”. “Latitude sẽ tiếp tục đánh giá tất cả các mô hình AI để đảm bảo rằng chúng tôi có trò chơi hay nhất hiện có.”
THEO CNBC