隨著ChatGPT等大模型的出現(xiàn)，人工智能正以一日千里的速度飛快發(fā)展。那么從MapReduce、Hive，到Spark、Flink，再到ChatGPT，在數(shù)據(jù)處理方法不斷升級的過程中，有哪些是相對不變的存在？“人工智能市場瞬息萬變，不變的是任何大語言模型或AI模型的成功都需要數(shù)據(jù)和企業(yè)情境。”Cloudera大中華區(qū)技術(shù)總監(jiān)劉隸放近日向記者表示。

作為大數(shù)據(jù)平臺提供商，Cloudera為客戶管理超過2500萬TB的數(shù)據(jù)，與超大規(guī)模服務(wù)商不相上下，具有得天獨厚的優(yōu)勢。近期Cloudera發(fā)布了現(xiàn)成大型語言模型（LLM）藍圖，為企業(yè)帶來了基于大語言模型的生成式AI藍圖，幫助企業(yè)從可信、安全和負責任的AI應(yīng)用中受益。

處理方式改變，數(shù)據(jù)相對不變

似乎一夜之間，人工智能迅速升溫，人們言必談ChatGPT，各種大模型競相發(fā)布，AI用例遍地開花。從人工智能不太智能到人工智能機不可失，這樣的轉(zhuǎn)變來得遠比想象中要快。

劉隸放表示，Cloudera是一個數(shù)據(jù)平臺企業(yè)，AI的升溫對于Cloudera是個絕佳的機會。Cloudera幫助客戶管理可信任的數(shù)據(jù)，創(chuàng)建可信AI所需的安全、治理和溯源，賦能云上企業(yè)數(shù)據(jù)，幫助企業(yè)構(gòu)建自己的AI平臺，讓企業(yè)AI變得更強大。平臺上超過2500萬TB的數(shù)據(jù)，是其獨特的優(yōu)勢所在。

目前雖然ChatGPT很熱，但是企業(yè)大多選擇合作伙伴的大模型，而不是直接用公有云上面的大模型，劉隸放分析有4方面原因。第一，訓(xùn)練的數(shù)據(jù)與自己相關(guān)，是自己專業(yè)領(lǐng)域的特定數(shù)據(jù)。第二，關(guān)聯(lián)性和準確性很重要，對于大型企業(yè)而言，如果答案錯誤損失將難以估量。第三，可信和安全，用戶不能接受有偏差或者錯誤的答案。第四，隨著人工智能的不斷發(fā)展，金融、制造等行業(yè)也會有風險、安全合規(guī)的需求。

劉隸放介紹，Cloudera一直以來致力于大數(shù)據(jù)分析，開發(fā)了混合開放式湖倉一體解決方案，將數(shù)據(jù)湖、數(shù)據(jù)倉融合在一起，在保持原始數(shù)據(jù)的基礎(chǔ)上對其進行加工和處理。在此過程中，Cloudera也使用過Hive、Spark等傳統(tǒng)模型。那么，大語言模型與之前的模型有何不同之處？“大語言模型更加簡單、快速、縮放自如，覆蓋所有數(shù)據(jù)，這是AI進化的一個挑戰(zhàn)。”劉隸放認為。

無論數(shù)據(jù)處理方式怎樣改變，數(shù)據(jù)則保持相對不變，從最開始的MapReduce查詢引擎到現(xiàn)在的ChatGPT對話方式，數(shù)據(jù)一直掌握在客戶手中，對于客戶而言是最重要、最珍貴的資源。客戶也希望無論模型如何改變，自己管理自己的數(shù)據(jù)，不要鎖定在一種數(shù)據(jù)處理引擎上，在此基礎(chǔ)上嘗試并擁抱變化。

確保數(shù)據(jù)安全合規(guī)、交互性強

順應(yīng)AI趨勢，劉隸放宣布，未來Cloudera將從傳統(tǒng)平臺轉(zhuǎn)向AI平臺，具體來看Cloudera將參與3個部分：一是CDP基礎(chǔ)平臺，基于2500萬TB數(shù)據(jù)，為客戶未來的分析系統(tǒng)提供數(shù)據(jù)支撐；二是數(shù)據(jù)加工過程；三是嵌入LLM模型，企業(yè)可以將要使用的LLM模型嵌入到Cloudera的Cloudera Machine Learning（CML）中，訓(xùn)練模型，在平臺上部署AI應(yīng)用。

總結(jié)而言，Cloudera的AI布局包括三個平臺：現(xiàn)成大型語言模型（LLM）、CML、Cloudera Data Engineering（CDE）。作為CDP的服務(wù)組件，CML的安全體系遵循CDP整體平臺，無論是私有部署、私有云，還是公有云。通過CDE平臺和基礎(chǔ)平臺結(jié)合，通過算法可以幫助CML加工處理提供數(shù)據(jù)，同時可以使用GPU加快平臺處理。劉隸放強調(diào)，Cloudera的目的不是做模型，其CML平臺不會自己研發(fā)，而是廣泛適配市面上的大模型。

目前Cloudera仍在初期嘗試階段，CML中內(nèi)嵌了許多模型，在使用過程中滿足了合規(guī)要求，確保數(shù)據(jù)不會泄露，同時也兼顧了數(shù)據(jù)的交互性。劉隸放強調(diào)，在幫助企業(yè)落地大模型方面，Cloudera首先要幫助企業(yè)解決合規(guī)問題，在此基礎(chǔ)上通過訓(xùn)練得到準確有意義的答案。

可以說，安全可控是Cloudera平臺的主要特色，也是無論傳統(tǒng)模型時代還是現(xiàn)在的大語言模型時代，眾多用戶持續(xù)信賴和選擇Cloudera的重要原因。