當多數企業仍執著於AI使用量與工具普及率時，KPMG的研究揭示了關鍵落差：僅5％的員工真正達到「進階使用」。驅動生產力的核心並非工具熟稔度，而是將AI視為「推理伙伴」的策略思維。領導人必須重新定義績效指標，將焦點從活動量轉向專業人士如何運用AI進行思考與決策，進而讓這類卓越行為能被教導並規模化推廣。
許多企業都快速行動，要將AI工具導入員工的工作中。然而，儘管投入大量資源，許多領導人仍難以評估其實際成效。AI是否能在品質、速度與工作企圖心上，帶來可量化的提升？是否有助於強化專業判斷？哪些人真正從中受益，其原因為何？所謂的「成功運用AI」，究竟是什麼樣子？
由於目前尚缺乏能大規模衡量勞動力質化成果的工具與框架，多數組織難以掌握具體、以行為為基礎的指標，來判斷AI是否帶來正面影響。在缺乏這類指標的情況下，領導人往往轉向最容易量化的數據：使用頻率、投入時數、提示詞數量、AI工具的token用量，以及員工自評的技能水準，做為衡量進展的替代指標。換句話說，他們衡量的是「活動」，而非「進階程度」或「影響力」。
不難想見，AI帶來的績效提升仍呈現不均，領導人也難以提出具體指引，說明員工應如何運用AI來提升表現。若缺乏更完善的衡量方式，領導人將無法判斷哪些行為應予以強化、哪些需要培養，又有哪些應被淘汰。
為了理解例行性AI使用與進階人機協作間的差異，KPMG與德州大學奧斯汀分校的研究人員合作，分析了約2,500名員工在8個月期間所產出逾140萬筆的AI提示與回應。透過這項分析，我們打造了一套「進階使用」的定義，此定義建立於提示工程的基礎上，重視明確的提示，並結合有意識的策略運用。我們辨識出一組低成本、可觀察的指標，如模型切換與結構化的初始提示，可用來預測高階使用行為。這些洞見正與KPMG的人才、學習與績效系統整合，並提供一套任何組織皆可採用的框架，用以培養並衡量員工更進階的AI使用能力。
頂尖AI使用者的關鍵差異為何？ 研究開始時，KPMG的AI導入已達相對成熟的階段：近9成員工經常使用AI，並可使用持續擴充的工具組合。公司能夠衡量使用頻率，但缺乏對「有效」或「進階使用」的明確定義，也缺乏相應的衡量方式。這構成了問題。若缺乏清晰的定義，組織將難以突破「基礎導入」的階段。我們認為，若能定義並衡量何謂「良好的使用AI」，便能更有意識地在整個組織中推動進階且具高影響力的AI應用。 我們的研究針對一群背景多元的專業人士進行分析，其職能、角色與經驗層級各不相同。如前所述，在為期八個月的期間內，我們建立了一個數據庫，收錄這2,500名員工所生成的所有提示與回應，總計達140萬筆。這樣的數據規模與時間長度，使我們得以超越單一時間點的觀察，不僅能瞭解員工在特定日期如何使用AI，也能看見他們在界定問題、引導推理、評估輸出，以及於不同工作情境中應用AI的模式，如何隨時間演變並產生差異。 為了分析這些數據，我們使用OpenAI的「推理型模型」之一ChatGPT o1，來評估每段對話（包含提示與回應），並判斷其中是否具備特定特徵，包括使用情境類型、提示工程策略，以及其他AI使用行為指標。這項分析耗費大量運算資源，最終產出超過50個變數，隨後由我們加以篩選與整理。 取得這些指標後，我們進一步思考：這些指標是否能做為一種簡化的判斷方式，引導人們邁向更有效的AI使用？指標是否能在不仰賴本研究所需之高成本運算的情況下，協助我們辨識出進階使用者？以下是我們的發現。 拆解進階使用行為 我們辨識出公司中最具進階使用能力的員工後，發現其職位與資歷差異甚大，但同時也浮現明確的共通特徵。我們歸納出4種進階使用者普遍具備的行為模式： 他們在使用AI時抱持更高的企圖心。進階的AI使用並非單純取決於使用量，而是來自長時間累積的行為模式。頂尖使用者通常會與大型語言模型（LLM）進行更長且更頻繁的互動、撰寫更長、內容更完整的初始提示、依據任務需求，有意識地在不同模型或工具之間切換，並以相對較高的頻率使用AI。 他們將AI視為推理伙伴。他們對於模型的初步輸出不會照單全收，而是主動引導其思考過程。他們運用各種技巧，包括角色定義、提供期望的輸出範例、反覆改進、自我驗證，以及結構化的推理提示。價值並不來自一次性地提出「更好的」問題，而是來自隨時間持續引導模型。他們會請模型協助思考問題、檢驗假設，並探索不同可能性。這些行為體現於他們持續聚焦於同一問題、使用結構化提示，以及反覆進行改進的過程中。 他們會以明確目標委派複雜任務。進階使用者更傾向將多步驟且複雜的任務交由AI處理。他們會清楚設定限制條件與成功標準、定義期望的回應結構，並明確說明任務目標。他們的企圖心不僅展現在提示長度，也反映在所委派任務的複雜程度上。 他們將AI視為一種通用的認知工具，而非單一的生產力捷徑。進階使用橫跨創意發想、分析、技術指引、知識型工作與問題解決等多種情境。進階使用者會在多元應用場景中運用AI，並依據不同使用情境，有意識地在模型之間切換。非正式語言、拼寫錯誤與對話式語氣，往往伴隨這類進階使用，成為反映其熟悉度與流暢度的細微信號。 一個清晰的模式逐漸浮現：進階使用者在運用AI工具時，展現出高度的敏捷性與靈活度。他們更傾向在不同模型之間切換、同時運用多個AI平台，並將愈發複雜的多步驟任務交由AI處理。這反映出他們已建立起更成熟的心智模型，將AI視為動態的協作伙伴，而非單一用途的工具。 研究亦揭示一項出乎意料的趨勢：表現出色的使用者多半為經理以上層級的員工。這一結果令我們意外，因為傳統觀點普遍認為，較資淺的員工對這類工具往往更為熟悉，使用上也更得心應手。然而，研究結果顯示，「使用上的熟悉度」與「使用的進階程度」之間，可能存在關鍵差異。 我們同時觀察到幾項重要趨勢： 儘管公司內AI的採用已相當普及（約9成員工使用），卻僅有5％的使用者符合我們對「高度進階使用」的定義。這種在初期即呈現集中分布的進階使用現象，顯示AI在大型組織中並不會自然且均衡的發展；相反地，這凸顯出若要推動具意義且能創造實質價值的應用，不能僅止於將工具提供給員工，還需要有意識的介入與引導。 雖然各層級的員工皆會使用LLM進行寫作輔助，但經理以上層級的員工更常將其應用於多元任務，如技術指引與創意發想。這意味著，經驗與角色情境不僅影響AI的使用頻率，也會影響其如何與核心工作整合。 相較於資深員工，資淺員工更可能將公司提供的LLM用於個人用途。因此，使用頻率未必是衡量生產力的可靠指標。 經理以下層級的員工在與LLM互動時，較少採取有意識的策略；相對而言，經理以上層級的員工較常如此，且更傾向提出明確的要求。 領導人可以採取哪些不同做法 研究結果顯示，企業需要將AI推動的重心，從提升採用率轉向塑造使用習慣。當人們學會清楚界定問題、引導模型推理、批判性地評估輸出，並在不同工作情境中靈活運用AI時，進階使用便會逐步形成。簡而言之，關鍵不在於工具本身，而在於專業人士如何運用AI進行思考與決策。這些能產生累積效果的行為，是可觀察、可教導與可規模化推廣的。 領導人應著重於以下幾點。 建立AI優先的最佳實務 若希望透過AI產出不同成果，就必須讓相應的不同行為變得可見、可討論，並成為組織中的共同期待。研究辨識出一系列KPMG希望推動的具體行為，領導人因此將其轉化為實務指引、精簡說明，以及由同儕帶動的「推動者」網絡，強調進階使用在日常工作中的具體樣貌。目標在於建立對「良好使用」的共同認知，並在全公司持續強化此概念。 重新思考如何進行技能提升 研究結果改變了KPMG推動人才發展的方式，著重於協助員工在日常工作流程中，建立有效運用AI的信心。KPMG投入由跨部門團隊開發的實作導向、應用為本的培訓，在各地辦公室與線上教室中，透過情境式課程，讓專業人士沉浸於真實的客戶專案與內部工作情境，並聚焦於進階協作行為，例如將複雜任務委派給AI、引導模型推理、驗證輸出，以及隨時間持續精進做法。 為成長與發展設定明確期望 這項工作並不是要改變人才管理制度或流程，而是要清楚界定在AI賦能的環境下，何謂良好的工作表現。KPMG依據本研究，將有效運用AI的工作方式，轉化為具體的角色與任務層級期望，並認知到高品質的判斷會因不同的職能、層級與交付情境而有所不同。舉例而言，審計、稅務、顧問與業務流程部門所處的運作環境差異甚大，各自面對不同的風險、法規與交付模式，因此AI的應用亦須相應調整。基此，各部門的AI優先期望會依情境量身調整，如審計部門著重於AI輔助風險評估、顧問部門著重於更快速的研究與情境規畫，或稅務部門著重於更自動化且品質更佳的工作成果。 目的在於為員工與領導人提供更明確的指引，了解如何運用AI支持日常決策、提升工作品質，並改善客戶成果。 ＊＊＊ AI正迅速改變工作型態，而領導人一時難以清楚描繪組織將如何因應這些變化，也在情理之中。原因往往在於大家對於何謂「良好表現」缺乏明確的定義。理解為何部分員工能在AI的運用上表現出色，以及AI如何幫助他們更佳地完成工作，是協助所有人學會運用AI工具的第一步。 （劉懿萱譯） 尼克．霍爾曼 Nick Hallman 德州大學奧斯汀分校（University of Texas at Austin）會計學系副教授，並擔任賽勒姆政策中心（Salem Center for Policy）AI計畫資深研究學者。他的研究主要聚焦於金融市場中的審計員與其他資訊中介角色。 扎克．科瓦列斯基 Zach Kowaleski 德州大學奧斯汀分校（University of Texas at Austin）會計學系助理教授。曾任教於聖母大學，並曾擔任美國公開發行公司會計監督委員會（Public Company Accounting Oversight Board）經濟研究員。他的研究探討制度環境如何影響行為表現，並以審計與經紀自營商情境為研究場域。 阿努．普瓦達 Anu Puvvada KPMG Studio的領導人，她結合前瞻性研究與創業建設（venture-building），以辨識新興機會，並推出可規模化的服務與技術驅動型業務。 傑米．施密特 Jaime J. Schmidt 德州大學奧斯汀分校麥庫姆斯商學院（McCombs School of Business）會計學系教授，同時擔任《Auditing: A Journal of Practice & Theory》副主編，以及奥布雷．史密斯審計教育與研究中心（C. Aubrey Smith Center for Auditing Education and Research）的執行主任。該中心目標之一為縮小學術研究與實務應用之間的落差。
—來源：https://www.hbrtaiwan.com 版權所有，請勿複製使用。若欲團體授課，請至《哈佛商業評論》網站依據授課人數購買文章。
