BI,即Business Intelligence,中文稱為商業智慧。
1996年,Gartner集團正式將商業智慧定義為:一類由資料倉儲(或資料市集)、查詢報表、數據分析、資料挖掘、數據備份和恢復等部分組成的、以幫助企業決策為目的的技術及其應用。從概念誕生到現在的幾十年間,BI的價值和使命並未發生根本的變化,依然是將數據轉化為有用的信息,讓企業的決策有數可依,變化的只是BI所使用的技術,而BI的發展也就是體現在技術上。
目前,BI的核心技術主要包括數據存儲、數據ETL、數據分析、數據挖掘,以及數據視覺化分析。隨著數據量的激增和應用場景的複雜化,BI在技術上也有所補充,例如Hadoop和Hive等大數據技術的出現就很好的彌補了BI處理大數據的能力。
在本文中,軟妹將以2013年為節點分析BI產品發展歷程,深入探討智慧BI如何定義和發展路徑,以及帆軟在AI與BI結合方向的產品落地。
回溯 BI 產品的發展歷史,會發現有一條清晰的主線,就是不斷的利用新技術降低數據分析門檻,從而讓更多的人能夠從大數據中受益,真正把數據轉變成生產力去驅動業務。
報表式 BI:用戶要具備 SQL 編寫、OLAP 建模等技術能力,用戶滲透率不到1%。
BI起源於20世紀80年代,主要技術包括SQL(結構化查詢語言)、OLAP(聯機分析處理)和數據可視化。這些技術雖然提供了強大的數據分析能力,但對用戶的技術要求極高。用戶需要具備SQL編寫、數據建模和深厚的業務理解能力,因此,這類 BI 產品的用戶主要是IT/DT人員,用戶滲透率比例不到1%。
在這一階段,BI的使用門檻非常高。用戶不僅需要掌握複雜的技術,還必須具備數據思維和業務理解能力。這意味著,只有那些既懂技術又懂業務的用戶才能真正發揮BI的價值。比如,一名優秀的BI用戶需要像DBA(數據庫管理員)一樣精通SQL,同時也需要像MBA一樣具備深入的業務理解能力。這使得BI的普及非常困難,主要集中在少數專業技術人員手中。
自助式BI(即敏捷BI):不要求 SQL 編寫等技術能力,但對數據分析能力要求高,用戶滲透率10%。
VizQL 技術的出現,消除了用戶寫 SQL 的能力要求,從而讓一部分懂 OLAP 數據建模,同時具備一定的數據思維和業務理解能力的分析師和業務部門的數據 BP 能夠用自助式BI產品做自助分析,用戶滲透率大幅提升到10%左右。
增強式BI:進一步降低了技術門檻,但仍要求用戶具備一定的數據思維。
互聯網的發展讓原本停留在學術界的機器學習、深度學習等 AI 技術在工業界得到了廣泛應用和快速發展。大家開始嘗試用這些技術去進一步降低 BI 產品的使用門檻,核心理念是用 AI 技術去增強 BI 產品的能力。當時的 AI 技術一定程度上確實降低了用戶的使用門檻,也催生了早期的檢索式/對話式 BI 產品。但用戶的滲透率並沒有得到大幅提升,從10%上升至15%。其中很大一個阻塞就是用戶依然需要具備一定的數據思維才能使用增強 BI產品,這對很多業務人員來說是一個巨大的門檻。
智慧BI:破除數據思維這個用戶門檻,用戶滲透率逼近100%。
以大語言模型(Large Language Model,LLM)為代表的生成式 AI 技術,為進一步消除數據思維這一項能力要求帶來了新的機會。在預訓練的過程中,LLM 內嵌了數據分析的知識,還可以通過 SFT 讓 LLM 具備專業領域的數據分析知識。產品集成這些具備數據分析知識的 LLM 以後,用戶只要具備一定的業務理解,就能從數據中得到他所關注的業務問題的答案。
BI產品終極目標是“讓人人都是數據分析師”,奔著這個目標BI產品持續演進,會發展出不同的產品形態,以滿足不同場景的數據需求。需要強調的是,這幾類Bl各有優劣,分別適用於不同的場景,不是絕對的相互替代的關係。尤其是報表式、自助式 Bl和智慧BI。
這三類BI將長期共存,供企業按需選擇,直到資訊化基礎條件發生根本改變,建議企業根據自身數據應用成熟度來判斷哪一類Bl哪個更適合自己,或者是否需要結合使用。
AI+BI模式=AI與BI相結合
從概念和理論上來說,AI+BI模式是有價值有前景的。
AI與BI的區別在於BI負責梳理生產關係,AI是先進新質生產力。那麼AI+BI模式通過將AI嵌入BI,構建基於AI的BI平臺,利用AI的智能讓BI系統能夠解決更復雜的業務場景,產出更精準的分析結果,從而使決策更為科學和準確。
從具體場景上來說,AI+BI的模式能讓部分BI場景更深入,產出更有價值的知識。
AI和BI存在本質區別,BI擁有自己的發展路線,而AI目前並不是BI的核心功能。
因此,AI並不是BI的核心功能,AI+BI的模式難成為BI市場的主流,更多的是AI For BI:
不是要用AI代替BI, 而是儘可能藉助AI的相關能力, 提升BI工具在各環節的效率、 降低BI工具的上手和使用門檻, 讓更多領導和業務人員把BI用起來, 幫助客戶最大化地用好BI工具的價值。
目前預計2025年左右,BI將開始邁入智慧化階段;到2030年,BI的智慧化也將進一步擴大。隨著AI技術和BI系統的不斷成熟,AI在BI中的應用將會越來越多,二者重合的部分也越來越多,但是因為它們存在本質上的區別,所以不會完全重合,而是以AI for BI的方式存在。
Orentiation:目前是採用“對話”的方式來提問,主要發展方向是 降低消費門檻+提升製作效率
具體到「AI For BI」的落地場景,大體可以分成兩大類:
AI For BI的核心價值是降低用戶的使用門檻,讓離業務最近、離技術最遠的一線業務人員也能在數據驅動下做更好、更快的決策。然而,近年來各 BI 廠商陸續推出的一系列「問答 BI」產品在實際落地過程中都會發現,真正能夠讓用戶用起來的場景少之又少。大致有兩方面原因導致大多數「問答 BI」產品淪為一個個“玩具”。一方面,是由於業務人員不具備數據思維,問不出有價值的數據分析問題。另一方面,是產品確實還不夠成熟。這兩方面挑戰造成目前大多數AI For BI產品並不成熟:
近年來,隨著各種「數據分析」類的課程的推廣和普及,越來越多的業務人員逐漸具備了數據思維,能夠從數據的角度去分析業務問題。而大模型作為當下最大技術紅利,其跨任務、跨場景的泛化能力為我們實現一個成熟的「 AI For BI」產品帶來了新的機會。
Development:AI For BI的技術與產品發展路徑
AI For BI,一個核心落地場景是「對話式BI」,其核心技術是 Text2SQL,就是要把自然語言轉化成具體的數據查詢語句。該技術從2000年左右在學術圈就要有人開始研究,當時主要是從事數據庫的人員在做,很多論文都是發在類似 VLDB 這樣的數據庫領域的會議上。那時候該技術並不是太強,主要是基於傳統的機器學習,先把用戶的查詢抽象成幾個分類,定義出一些模板,然後用有監督學習去做一個分類模型,再去填模板。由於這種技術本身的侷限性,產品呈現出來的精度一直很低,遠遠沒有達到產品化落地的要求。
直到2016年左右,正值互聯網發展成熟,隨之帶來了一些新的技術,包括:檢索、推薦、深度學習等。此時,美國有工程師嘗試做了產品創新,把數據的查詢變成一個在有限空間內的數據檢索問題,然後用檢索技術來解決 Text2SQL。同時他也做出了一些當時讓人很驚豔的產品,在BI領域引起了不小的關注。但是當時的技術路徑本質上還是檢索,伴隨的很嚴重的問題是沒法真正去理解自然語言,還把一個句子分成一個個的詞去做匹配,並沒有去真正理解一句話中的主謂賓、定狀補。
但是這種產品形態引起了一些有很強學術能力的公司的關注,比如 MicroSoft,他們開始用基於神經語言模型的 NLP 技術來實現「對話式 BI」。當時雖然已經開始用神經語言模型去理解語義,但模型的尺寸和後續的預訓練模型和現在的大語言模型相比有巨大的差距。模型的能力也有侷限性,所以當時的產品現狀是精度低、配置成本高,意圖理解的能力也很弱。後來隨著出現了預訓練模型 bert,大家開始用端到端的模型來解決侷限性和精度低等問題,雖然很大程度上解決了配置成本高的問題,但也引入了需要積累訓練數據,並針對每個數據集去做訓練的問題。總之,多年的探索雖然有一些進步,但整體上沒有徹底解決這個問題。
直到大語言模型的出現,算法的改進和模型尺寸的提升帶來了大語言模型的上下文學習、思維鏈等一系列新的能力,讓我們有機會去解決一些原來老的技術很難解決的問題。
帆軟近些年在對外並沒有過多宣傳AI+BI,但是內部一直都在緊密的跟蹤 AI 相關的技術。尤其在2019年前後,當看到許多廠商紛紛推出了「問答式 BI」功能後,帆軟也開始探索「問答式 BI」的可行性,成立專項攻堅團隊,並聯合兩家外部合作商(漢雅、億問)做產品化嘗試,對內推出 FineAI,對外嘗試推廣基於億問解決方案 OEM 的問答式 BI 產品。從來自內部用戶的反饋來看,當時的模型精度暫時達不到產品化落地的要求,來自市場的反饋也印證了這個結論。
帆軟也走訪調研了一圈國內外的客戶,「問答式 BI」當時的狀況是“理想很豐滿,現實很骨感”。由於在技術上大都採用規則解析或規則解析+預訓練(小)模型的方法來實現文本到 SQL 的轉化,這種技術上的限制導致問答的召回和精度不夠理想。進一步的,預訓練(小)模型的跨場景泛化能力不足,就需要針對特定場景不斷的增加語料,並重新訓練模型來提高精度和召回,從而導致實施成本變得難以接受。這就導致「問答式 BI」會面臨意圖識別、查詢結果的精度和基於場景定製化開發、部署的成本之間不可調和的矛盾,並最終淪為一個擺設,實際用起來的少之又少。所以暫時終止了「問答式 BI」產品的市場推廣,並持續跟蹤和研究這方面的技術和產品。
在千模大戰和開源大模型成為趨勢的背景下,大模型本身並不是優勢,在一個場景裡面用好大模型才能建立優勢。大模型的核心能力是基於內嵌知識的生成能力,而“可控性差”在BI的應用場景下是一個致命弱點。當下用好大模型的三個關鍵要素是:
回到 BI 場景,帆軟通過服務30000+客戶,覆蓋了廣泛、豐富的客戶和場景,這些場景的積累為我們建立了巨大的優勢,讓我們能夠快速收斂場景、驗證功能。從數據層面,有句話叫 “garbage in,garbage out”,在目標任務上精調大模型的數據準備在精不在多,關於模型的選擇,目前的狀態是沒有一個模型能在所有任務上絕對碾壓其他模型。而關鍵是客戶需要針對基於場景定義的目標任務要去評測和挑選最合適的模型,並把效果做到最好。
當新的技術能夠讓模型精度在通用場景下,達到產品化落地標準的時候,帆軟將利用這方面能力進一步降低用戶「自助式分析」的門檻。大模型作為當下最大技術紅利,其跨任務、跨場景的泛化能力,讓大家看到了實現一個成熟、能落地的「問答式 BI」產品的可行性。這是帆軟堅決投入「AI For BI」研發的核心邏輯。
近些年來,帆軟對客戶進行嚴謹調研和小範圍實踐,結合「AI For BI」的兩大落地場景-提升製作效率&降低消費門檻,2023年在這兩大類場景上都做了探索:
在提升製作效率方面,帆軟研發了「AI 小助手」,具體包括公式生成、組件製作、數據編輯、看板美化和分析報告五個功能。
在降低消費門檻方面,帆軟孵化了現在的「對話式 BI」產品 FineChatBI。兩個產品都找了一些客戶進行驗證,也從客戶那裡得到很多真實的反饋。從客戶價值的角度看,「AI 小助手」確實能夠在某些場景下提升分析師的製作效率,但整體價值沒有通過降低數據消費門檻,讓更廣泛的業務用戶能夠用起來的價值大。
2024年帆軟會重點投入 FineChatBI,目標是讓更多的能夠直接發揮數據生產力價值的業務用戶用起來。
BI產品終極目標是“讓人人都是數據分析師”,奔著這個目標 BI 產品持續演進,並發展出不同的產品形態,以滿足不同場景的數據需求,具體包括:
Market Positioning:FineChatBI 的產品定位是對話式業務分析工具
WHY:為什麼產品定位是對話式業務分析?
(1)對話式:以對話為主要交互形式。
(2)業務分析:做數據分析不是為了分析數據本身,而是為了分析業務。「讓人人都是數據分析師」這句口號的背後的真實目的是「人人都是合格的業務分析師」,也就是每個業務人員都是合格的 BA(Bussiness Analyst)。而業務分析的基本套路是從業務視角出發,結合自己的經驗和認知形成一些定性的判斷(假設),然後通過實驗及實驗產生的數據(定量)去驗證假設(檢驗)。這個過程叫 hypothesis testing,包括回顧性分析、前瞻性分析等方法。
所以,業務人員要想做科學的、高質量的業務分析需要兩個前提(two premises):
我們做新一代「對話式 BI」就是要同時解決以上兩個問題:
HOW:如何將FineChatBI做成對話式業務分析?
從產品能力上,需要以可信查數為基礎能力,構建「思路拆解 → 數據查詢 → 異常檢測 → 歸因分析 → 趨勢預測 → 報告生成」整個分析閉環。同時把用戶場景進一步細分成對話式數據查詢、對話是數據分析和對話式資產檢索三大場景。對話式數據查詢能夠讓業務人員在日常工作中、業務經營會和出差途中快速查找某個業務指標。對話式數據分析能夠讓不具備數據思維的業務人員方便的從數據中得到業務結論。對話式資產檢索能夠讓業務人員方便的找到 BI 系統中已經存在看板、指標和組件。
目的是真的想讓業務用戶零門檻做數據分析:
WHAT:FineChatBI有哪些功能和特點?
生成可控、結果可信、分析閉環、交互友好。
(1)基於 FineBI 能力底座的企業級 BI 能力
(2)輸入聯想與模糊匹配
高質量的問答配置:
(3)意圖解析與調整
(4)思路拆解與推薦問題
(5)多輪問答
(6)歸因分析與報告
(7)生成儀表板
“人人都是數據分析師”不再是一個空洞的口號。
BI產品終極目標是“讓人人都是數據分析師”,奔著這個目標 BI 產品持續演進,並發展出不同的產品形態,以滿足不同場景的數據需求,有報表式 BI滿足企業管理層固定看數的需求;自助式 BI滿足業務分析師自助分析的需求;對話式 BI滿足普通業務人員的即時查數與分析需求。
帆軟基於數據分析能力和分析複雜度將用戶場景分成四個象限:
「對話式 BI」會先滿足數據分析能力比較低的業務人員的簡單分析場景,然後隨著產品能力的提升,逐步滲透到更加複雜的分析場景,並滿足更高數據分析能力的業務人員的分析需求。
同時,帆軟一直以來認為AI要用得起來,未必只靠大模型,對客戶有價值才是最重要的,大模型技術在BI的實踐已經被過度神話,實際還有很長的路要走。帆軟的使命是“讓數據成為生產力”,「對話式 BI」會讓更多的業務人員能夠從大數據中受益,真正把數據轉變成生產力去驅動業務。同時,帆軟也歡迎各位客戶一起參加共創!
點選下方按鈕,免費試用FineBI,親自體驗如何運用商業智慧工具來實現會員管理,並挖掘資料的潛力吧!
免費資源下載