白話大模型① :AI分析能做什么?在實際落地中會碰到什么問題?

白話大模型系列共六篇文章,將通俗易懂的解讀大模型相關的專業術語。本文為第一篇:AI分析能做什么?在實際落地中會碰到什么問題?

作者:星環科技 人工智能產品部

我們使用一個簡單的應用實例來解析人工智能分析都在做什么。

以單一AI應用為例

人臉檢索

我們以人臉檢索為例,來看看利用“人工智能”能力的流程。注意到,實際上有幾個視角。?問題是什么:假設已經有很多不同人的正面照(比如證件照)以及對應的 ID,現在拍攝到了一張某人的新照片,我們需要判斷這張照片中是的人是誰??步驟是什么: 基本流程大部分人腦中都有基本印象了,是一套固定的模式

圖 1 基礎流程比如人臉的例子“采集數據”就替換成“采集人臉數據”

完整的流程

圖 2 分析典型的人臉識別要做什么一般而言,完整的數據分析流程的步驟是相對冗長的,上面的內容展示了一個典型的“人臉識別”的 AI 應用形態在“需求分析”角度看,在做什么。使用一個在數字化、智能化之前就存在的例子來說,這就類似在圖書館查書名、作者,可以方便的找到想要的編號(ID)和其所在的書架并借閱這本書。實際工作比較復雜復雜很多,我們下面會稍微詳細的敘述。首先從“數量化”開始。

數量化

首先,我們需要將人臉照片轉化為計算機能夠理解的數據。這個過程叫做“量化”。比如早期的圖書館檢索,是通過人工編制索引卡片,然后通過卡片找到書籍的位置。這個過程就是“量化”。我們將書籍的信息轉化為了卡片的信息。

圖 3 我國澳門公共圖書館的卡片目錄(柜)可以看到,為了檢索為目的,圖書卡片目錄至少要1.保存書籍的信息(書名、作者、出版社、出版日期等)2.保存書籍的位置(柜號、層號、架號、排號等)3.保存書籍的編號(索書號、ISBN 等)對應到人臉識別,我們需要保存的信息也是類似的。我們需要保存的“人臉卡片目錄”信息包括(姑且認為):1.人臉的特征(比如眼睛、鼻子、嘴巴等):可以是相對大小、顏色等2.人臉的位置:可以是相對位置、絕對位置等3.人臉的編號:可以是身份證號、學號等實際操作中,人臉卡片目錄一般都“編碼”成了一串固定長度,比如說 1024,的數字(也就是“向量”),其有個特定且形象的名字“嵌入向量”:將人臉的特征(比如瞳距、鼻寬等)、位置(眼相對鼻距離等)、編號等信息,”嵌入“到這 1024 維的“向量”中。

但是,我們需要注意到,這些信息都是“人工”提取的。這個過程是非常耗時的。而且,這些信息的提取是非常“主觀”的。不同的人可能會提取出不同的信息。而且,更重要的是,這樣提取,很難保證“準確性”和“泛化性”。不考慮嚴格的學術定義,這兩個帶引號的詞的含義是:

準確性

按照提取的信息,能夠準確的找到對應的書籍/人臉的概率。這里,由于信息不準確等問題,通常可能檢索出多個待選結果,這里的準確性一般是指排名前幾的結果中,是否包含正確結果的概率。這比較好理解,一位作家可能寫了多本書,書名、年代可能相似,查詢者記憶比較模糊,問的不準確,都可能只能找到一個“范圍”。這個范圍內,可能有多本書,但是只有一本是正確的。這個時候,我們就需要“挑選”了。到了“人臉檢測”,這個問題可能更嚴重些。根據口、耳、鼻形態的的手工構建的數量化特征,排列組合可能性來找到“相似”的人臉。這樣操作下來,排序后找到最相似前五名,使用十五年前最厲害的算法,真正想找的人在其中的概率連一半都不到。事實上,盡管“人臉識別”這個需求自有視頻監控和照相技術后就一直是剛需,但這么低的準確率一直持續到 2010 年前后。新的”方法“的出現,才使得準確率有了質的提升。

泛化性

泛化是個阻礙人工智能在應用中大規模鋪開的問題。泛化性是指,對同一個問題,對于“新的數據”,人工智能模型還能保證原有的性能(比如查找精度等)。但事實上,問題很多,比如:1.檢索書籍中,原本書籍題目限制在 20 字以內,但是現在有了超過 20 字的書籍,比如白居易《望月有感》的詩,題目是《自河南經亂,關內阻饑,兄弟離散,各在一處。因望月有感,聊書所懷,寄上浮梁大兄,于潛七兄,烏江十五兄,兼示符離及下邽弟妹》,共 50 個字,這個時候,原有的卡片目錄抄錄不下。2.檢索人臉中,原本的人臉照片都是正面照,但是現在有了側面照,這個時候,原有的卡片目錄就無法使用了。或者,在最近兩年中,原本好用的手機人臉識別解鎖,在人帶了口罩后(甚至遮擋并不算多),就無法使用了。以上的例子比比皆是,這些問題都是“泛化性”問題。同一個問題, 新的數據,這些日常使用的單詞,并沒有數量化的定義,甚至不同人、不同領域的認知都完全不同,也客觀上導致了現實中 AI 落地的諸多問題。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/714522.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/714522.shtml
英文地址,請注明出處:http://en.pswp.cn/news/714522.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

若依框架使用mars3d的環境配置,地球構建

因項目需要,原本使用過的cesium依賴,現在想使用火星科技mars3d的一些功能,所以需要引入mars3d依賴,整個過程非常的坎坷,以至于我都不知道到底是哪些部分是標準的。。。先把我認為對的記錄一下: 1.vue.conf…

[滲透教程]-200-網絡安全基本概念

文章目錄 1.0專業術語1.1資產1.2網絡安全 (cyber security)1.3 網絡空間 (cyberspace)1.4安全的屬性1.5 安全策略1.6 威脅模型1.7 威脅模型1.8 DREAD模型1.9 OCTAVE模型1.10 國內的安全2.安全策略(Security Policy)3.安全機制(Security Mechanism)4. 安全防護模型

sqlserver保存微信Emoji表情

首先將數據庫字段,設置類型為 nvarchar(200)一個emoji表情,占4字節就可以了,web前端展示不用改任何東西,直接提交數據保存;回顯也會沒有問題,C#代碼不用做任何處理; 不哭不鬧要睡覺&#x1f31…

【機器學習300問】24、模型評估的常見方法有哪些?

一、為什么要對模型進行評估? 對機器學習和神經網絡的模型進行評估是至關重要的,原因如下: 得知模型的泛化能力 模型評估的主要目的是了解模型在未見過的數據上的表現,即其泛化能力。這是因為模型的性能在訓練數據上可能會過擬合…

構建大語言模型的四個主要階段

大規模語言模型的發展歷程雖然只有短短不到五年的時間,但是發展速度相當驚人,國內外有超過百種大模型相繼發布。中國人民大學趙鑫教授團隊在文獻按照時間線給出 2019 年至 2023 年比較有影響力并且模型參數量超過 100 億的大規模語言模型。大規模語言模型…

LangFlow——一款可輕松實驗和原型化 LangChain流水線的AI項目

LangFlow——一款可輕松實驗和原型化 LangChain流水線的AI項目。 前言 在人工智能興起的當下,AI正在重塑著很多行業。今天介紹的是一款近期登上github熱門的一款可輕松實驗和原型化 LangChain[1] 流水線的AI項目—LangFlow。 Flowise——通過拖放界面構建定制的LLM…

MCTP Control Protocol

MCTP control message用于在MCTP通信的協議中,來設置和初始化MCTP通信。 本文基于 SMBus/I2C 來實現 MCTP Control Protocol,SMBus/I2C 包格式如下: Management Component Transport Protocol (MCTP) SMBus/I2C Transport Binding Specific…

Flask學習筆記

不論POST請求還是GET請求都支持在 URL 中添加變量&#xff0c;可以選擇性的加上一個轉換器&#xff0c;為變量指定數據類型。 history_alarm.route(/test/<int:post_id>, methods[POST]) def test(post_id):print(f"參數類型為&#xff1a;{type(post_id)}")i…

VUE3中的組件傳值

一、父傳子(props) 在子組件中可以使用defineProps接收父組件向子組件的傳值 父組件fatherPage.vue&#xff1a; <template><div class"father"><button click"a a 1">按鈕</button><childPage :a"a" /><…

clickhouse的多路徑存儲策略

存儲策略 clickhouse從19.15開始&#xff0c;MergeTree實現了自定義存儲策略的功能&#xff1a; JBOD策略&#xff1a;這種策略適合服務器掛多磁盤但沒做raid的場景。JBOD是一種輪詢策略&#xff0c;每次執行INSERT或者MERGE&#xff0c;所以產生的新分區會輪詢寫入各個磁盤。…

C#面:Application , Cookie 和 Session 會話有什么不同

Application、Cookie 和 Session 是在Web開發中常用的三種會話管理方式 Application&#xff08;應用程序&#xff09;&#xff1a; Application 是在服務器端保存數據的一種方式&#xff0c;它可以在整個應用程序的生命周期內共享數據。Application 對象是在應用程序啟動時創…

Nginx 隱藏版本信息和logo

1.隱藏版本信息 http {### 隱藏版本號 server_tokens off; } 2.隱藏圖標 2.1 cd nginx 安裝的路徑 cd/XXXX/nginx-1.2.0 2.2 編輯文件 vim src/core/nginx.h 修改define nginx_ver 中的內容 vim src/http/ngx_http_special_response.c 修改 u_char ngx_http_error_tail[]…

java 基礎(核心知識搭配代碼)

前言 java的學習分為了上部分以及下部分進行學習&#xff0c;上部分就是對于java的基礎知識&#xff0c;面向對象上&#xff0c;面向對象下&#xff0c;異常操作&#xff0c;javaApi&#xff1b;下部主要是集合&#xff0c;泛型&#xff0c;反射&#xff0c;IO流&#xff0c;J…

Grid-Based Continuous Normal Representation for Anomaly Detection 論文閱讀

Grid-Based Continuous Normal Representation for Anomaly Detection 論文閱讀 摘要簡介方法3.1 Normal Representation3.2 Feature Refinement3.3 Training and Inference 4 實驗結果5 總結 文章信息&#xff1a; 原文鏈接&#xff1a;https://arxiv.org/abs/2402.18293 源碼…

ChatGPT4.0使用次數限制解讀

ChatGPT4.0使用次數限制解讀 ChatGPT4.0簡介 ChatGPT4.0&#xff0c;由OpenAI開發的先進通用聊天機器人模型&#xff0c;基于GPT4技術構建&#xff0c;為用戶提供了自然語言處理等多項任務的解決方案。 ChatGPT4.0使用次數限制 在日常使用過程中&#xff0c;用戶會遇到Chat…

【MIT 6.S081】2020, 實驗記錄(6),Lab: Copy-on-Write Fork

目錄 Task: Implement copy-on writestep 1&#xff1a;對內存塊進行引用計數step 2&#xff1a;uvmcopy 實現 fork 時將 parent 的物理頁映射到 child 中step 3&#xff1a;在 usertrap 中增加對 page fault 的處理執行測試 官方說明&#xff1a;Lab: Copy-on-Write Fork for …

IP地址工具,判斷IP是否在指定范圍內(支持ipv6)

常用方法&#xff0c;判斷一個ip是否在指定的ip范圍內&#xff0c;范圍可能包括起始ip范圍或者掩碼形式&#xff0c;無其它依賴&#xff0c; package com.yk.ip;import java.math.BigInteger; import java.net.InetAddress; import java.net.UnknownHostException; import jav…

操作系統-文件原理

目錄 一、磁盤 1.1 磁盤結構 1. 盤片&#xff1a; 2. 盤面&#xff1a; 3. 磁頭&#xff1a; 4. 磁道&#xff1a; 5. 扇區&#xff1a; 6. 磁道密度和扇區密度&#xff1a; 1.2 磁盤訪問 1. 尋道&#xff08;Seeking&#xff09;&#xff1a; 2. 延遲旋轉&#xff…

C++進階-- map和set

關聯式容器 在前面&#xff0c;我們所學的vector、list、deque&#xff0c;這些都是序列容器&#xff0c;也就是底層為線性序列的數據結構。 而關聯式容器是C標準庫中的一種類別&#xff0c;用于存儲鍵值對&#xff08;key-value pair&#xff09;&#xff0c;關聯式容器中的元…

vxe-table編輯單元格動態插槽slot的使用

業務場景&#xff1a;表格中只有特定某一行的的單元格可以編輯&#xff0c;列很多&#xff0c;為每個列寫個插槽要寫很多重復代碼&#xff0c;所以這里使用動態插槽&#xff0c;簡化代碼量。顯示編輯圖標&#xff0c;點擊編輯圖標隱藏。失去焦點保存調后臺接口。 解決辦法&…