生成式AI顛覆傳統數據庫的十種方式

對于生成式AI的所有閃光點,這個新時代最大的轉變可能深埋在軟件堆棧中。AI算法正在不易覺察地改變一個又一個數據庫。他們正在用復雜、自適應且看似更直觀的AI新功能顛覆傳統數據庫。

目錄

1、向量和嵌入

2、查詢模型

3、建議

4、索引范例

5、數據分類

6、更好的性能

7、更清晰的數據

8、欺詐檢測

9、更嚴格的安全性

10、合并數據庫和生成式AI

11、相關領域拓展:(技術前沿)

與此同時,數據庫制造商正在改變我們存儲信息的方式,以便更好地與人工智能模型配合使用。以下是隨著人工智能的普及,數據庫正在適應和改進的10種方式。

1、向量和嵌入

人工智能開發人員喜歡將信息存儲為長數字向量。過去,數據庫將這些值存儲為行,每個數字位于單獨的列中。現在,一些數據庫支持純向量,因此無需將信息分解為行和列。相反,數據庫將它們存儲在一起。一些用于存儲的向量有數百甚至數千個數字長。

此類向量通常與嵌入配對,嵌入是一種將復雜數據轉換為單個數字列表的模式。設計嵌入仍然是一門藝術,并且通常依賴于對基礎領域的了解。當嵌入設計良好時,數據庫可以提供快速訪問和復雜查詢。

Pinecone,Vespa,Milvus,Margo和Weaviate等一些公司正在建立專門存儲載體的新數據庫。像PostgreSQL這樣的數據庫正在將向量添加到他們當前的工具中。

2、查詢模型

向數據庫添加向量帶來的不僅僅是便利。新的查詢函數不僅可以搜索完全匹配項。它們可以定位“最接近”的值,這有助于實現推薦引擎或異常檢測等系統。將數據嵌入向量空間簡化了涉及與僅幾何距離的匹配和關聯的棘手問題。

Pinecone,Vespa,Milvus,Margo和Weaviate等向量數據庫提供向量查詢。一些意想不到的工具,如Lucene或Solr,也提供了相似性匹配,可以用大塊的非結構化文本提供類似的結果。

3、建議

新的基于向量的查詢系統感覺比我們過去的日子更加神奇。舊查詢將查找匹配項;這些新的人工智能數據庫有時感覺更像是在閱讀用戶的思想。他們使用相似性搜索來查找“接近”的數據項,并且這些數據項通常與用戶想要的內容非常匹配。這一切背后的數學可能就像在n維空間中找到距離一樣簡單,但不知何故,這足以提供意想不到的結果。這些算法長期以來一直作為完整的應用程序單獨運行,但它們正在慢慢地被折疊到數據庫中,在那里它們可以支持更好、更復雜的查詢。

甲骨文只是針對這個市場的數據庫的一個例子。Oracle長期以來一直提供各種模糊匹配和相似性搜索功能。現在,它直接提供為在線零售等行業定制的工具。

4、索引范例

過去,數據庫構建簡單的索引,支持按特定列進行更快的搜索。數據庫管理員擅長使用聯接和過濾子句精心設計查詢,這些子句使用正確的索引運行得更快。現在,向量數據庫旨在創建有效地跨越向量中所有值的索引。我們剛剛開始弄清楚尋找彼此“鄰近”的向量的所有應用。

但這僅僅是個開始。當人工智能在數據庫上訓練時,它會有效地吸收其中的所有信息。現在,我們可以用簡單的語言向AI發送查詢,AI將以復雜和自適應的方式進行搜索。

5、數據分類

人工智能不僅僅是向數據庫添加一些新結構。有時它會在數據本身內部添加新結構。一些數據可能會以一團糟的形式抵達,比如可能沒有注釋的圖像或很久以前某人寫的大塊文本。人工智能算法開始清理混亂,過濾掉噪音,并對混亂的數據集施加秩序。他們會自動填寫表格。他們可以對文本塊的情感基調進行分類,或者猜測照片中人臉的態度。可以從圖像中提取小細節,算法也可以學習檢測模式。他們正在對數據進行分類,提取重要的詳細信息,并創建定期、清晰描述的信息表格視圖。

亞馬遜網絡服務提供各種數據分類服務,將SageMaker等人工智能工具與Aurora等數據庫連接起來。

6、更好的性能

好的數據庫處理數據存儲的許多細節。過去,程序員需要花時間操心數據庫使用的各種參數和模式,以使它們高效運行。建立數據庫管理員的角色是為了處理這些任務。

這些更高級別的元任務現在正在自動化,通常是通過使用機器學習算法來理解查詢模式和數據結構。他們能夠監視服務器上的流量并制定計劃以適應需求。他們可以實時適應并學會預測用戶的需求。

甲骨文提供了最好的例子之一。過去,公司向管理數據庫的數據庫管理員支付高薪。現在,甲骨文稱其數據庫為自治數據庫,因為它們配備了復雜的人工智能算法,可以即時調整性能。

7、更清晰的數據

運行一個好的數據庫不僅需要保持軟件運行,還需要確保數據盡可能干凈且沒有故障。AI通過搜索異常、標記它們,甚至可能建議更正來簡化此工作負載。他們可能會找到客戶姓名拼寫錯誤的位置,然后通過搜索其余數據找到正確的拼寫。他們還可以學習傳入的數據格式并攝取數據以生成單個統一的語料庫,其中所有名稱、日期和其他詳細信息都盡可能一致地呈現。

Microsoft的SQL Server是與數據質量服務緊密集成的數據庫的一個示例,用于清理存在缺少字段或重復日期等問題的任何數據。

8、欺詐檢測

創建更安全的數據存儲是機器學習的特殊應用程序。有些人正在使用機器學習算法來尋找數據饋送中的異常情況,因為這些算法可以很好地表明欺詐。有人第一次深夜去自動取款機嗎?這個人曾經在這個大陸上使用過信用卡嗎?人工智能算法可以嗅出危險的行跡,并將數據庫變成欺詐檢測系統。

例如,Google的網絡服務提供了多種選項,用于將欺詐檢測集成到數據存儲堆棧中。

?

9、更嚴格的安全性

一些組織正在內部應用這些算法。AI不只是試圖針對使用模式優化數據庫;他們還在尋找可能表明有人闖入的不尋常案例。遠程用戶并非每天都會請求整個表的完整副本。一個好的人工智能可以聞到一些腥味。

IBM的Guardium Security 是與數據存儲層集成以控制訪問和監視異常的工具的一個例子。

10、合并數據庫和生成式AI

過去,人工智能與數據庫是分開的。當需要訓練模型時,數據將從數據庫中提取,重新格式化,然后輸入AI。新系統直接從現有數據訓練模型。這可以為大型作業節省時間和精力,在這些工作中,僅移動數據可能需要數天或數周的時間。它還簡化了DevOps團隊的生活,使訓練AI模型像發出一個命令一樣簡單。

甚至有人談論完全替換數據庫。他們不會將查詢發送到關系數據庫,而是直接將其發送到AI中,AI將神奇地回答任何格式的查詢。谷歌提供Bard,微軟正在推動ChatGPT。兩者都是取代搜索引擎的有力競爭者。他們沒有理由不能取代傳統的數據庫。

這種方法有其缺點。在某些情況下,人工智能會產生幻覺,并想出完全錯誤的答案。在其他情況下,他們可能會隨心所欲地更改其輸出的格式。

但是,當領域足夠有限并且訓練集深入完整時,人工智能可以提供令人滿意的結果。而且它不需要定義表格結構并強迫用戶編寫在其中查找數據的查詢。對于用戶和創建者來說,使用生成式AI存儲和搜索數據可以更加靈活。

11、相關領域拓展:(技術前沿)

扯個嗓子!關于目前低代碼在技術領域很活躍!

低代碼是什么?一組數字技術工具平臺,能基于圖形化拖拽、參數化配置等更為高效的方式,實現快速構建、數據編排、連接生態、中臺服務等。通過少量代碼或不用代碼實現數字化轉型中的場景應用創新。它能緩解甚至解決龐大的市場需求與傳統的開發生產力引發的供需關系矛盾問題,是數字化轉型過程中降本增效趨勢下的產物。

這邊介紹一款好用的低代碼平臺——JNPF快速開發平臺。近年在市場表現和產品競爭力方面表現較為突出,的是最新主流前后分離框架(SpringBoot+Mybatis-plus+Ant-Design+Vue3。代碼生成器依賴性低,靈活的擴展能力,可靈活實現二次開發。

以JNPF為代表的企業級低代碼平臺為了支撐更高技術要求的應用開發,從數據庫建模、Web API構建到頁面設計,與傳統軟件開發幾乎沒有差異,只是通過低代碼可視化模式,減少了構建“增刪改查”功能的重復勞動,還沒有了解過低代碼的伙伴可以嘗試了解一下。

應用:https://www.jnpfsoft.com/?csdn

有了它,開發人員在開發過程中就可以輕松上手,充分利用傳統開發模式下積累的經驗。所以低代碼平臺對于程序員來說,有著很大幫助。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/36110.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/36110.shtml
英文地址,請注明出處:http://en.pswp.cn/news/36110.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Unity 框架學習--1

由淺入深,慢慢演化實現框架 兩個類的實現代碼完全一樣,就只有類名或類型不一樣的時候,而且還需要不斷擴展(未來會增加各種事件)的時候,這時候就用 泛型 繼承 來提取,繼承解決擴展的問題&#…

【RabbitMQ與SpringBoot集成測試收發消息】

【RabbitMQ與SpringBoot集成測試收發消息】 一、環境說明二、實驗步驟三、小結 一、環境說明 安裝環境:虛擬機VMWare Centos7.6 Maven3.6.3 JDK1.8RabbitMQ版本:rabbitmq-server-3.8.8-1.el7.noarch.rpm編程工具Idea 運行JDK為17 二、實驗步驟 在Rab…

List和數組互轉方法以及踩坑點

一、數組轉List 1. 使用for循環逐個添加 String[] arr {"A", "B", "C"}; List<String> list new ArrayList<>(); for (String element : arr) {list.add(element); }2. 使用Arrays.asList(arr) String[] arr {"A", …

TypeScript 泛型的深入解析與基本使用

系列文章目錄 文章目錄 系列文章目錄前言一、泛型的概念二、泛型函數三、泛型類四、泛型接口五、泛型約束總結前言 泛型是TypeScript中的一個重要概念,它允許我們在定義函數、類或接口時使用參數化類型,增強了代碼的靈活性和重用性。本文將深入探討泛型的概念,以及如何在Ty…

智能駕駛系列報告之一:智能駕駛 ChatGPT時刻有望來臨

原創 | 文 BFT機器人 L3 功能加速落地&#xff0c;政策標準有望明確 L2 發展日益成熟&#xff0c;L3 功能加速落地。根據市場監管總局發布的《汽車駕駛自動化分級》與 SAE發布的自動駕駛分級標準&#xff0c;自動駕駛主要分為 6 個級別&#xff08;0 級到 5 級&#xff0c;L0 …

Tomcat多實例部署及nginx+tomcat的負載均衡和動靜分離

Tomcat多實例部署 安裝 jdk、tomcat&#xff08;流程可看之前博客&#xff09; 配置 tomcat 環境變量 [rootlocalhost ~]# vim /etc/profile.d/tomcat.sh#tomcat1 export CATALINA_HOME1/usr/local/tomcat/tomcat1 export CATALINA_BASE1/usr/local/tomcat/tomcat1 export T…

Delphi調用WindowsAPI獲取窗口進程

Delphi有封裝的很好的WindowsAPI&#xff0c;直接調用即可&#xff0c;大體上和C差不多&#xff0c;有些地方需要額外處理。 給出一個實例&#xff1a; varg_process: THandle;procedure initGlobal(); beginvarg_handle: HWND;g_handle : FindWindow(clsName, name);if g_ha…

矩陣定理復習記錄

矩陣復習 矩陣導數定理 若A是一個如下矩陣&#xff1a; A [ a 11 a 12 a 21 a 22 ] A \begin{bmatrix}a_{11}&a_{12}\\a_{21}&a_{22}\end{bmatrix} A[a11?a21??a12?a22??] y是一個向量矩陣&#xff1a; y ? [ y 1 y 2 ] \vec{y}\begin{bmatrix}y_1\\y_2\e…

在vue項目使用數據可視化 echarts ,柱狀圖、折線圖、餅狀圖使用示例詳解及屬性詳解

官網地址&#xff1a;Apache ECharts ?一、下載插件并在頁面中引入 npm install echarts --save 頁面導入&#xff1a; import * as echarts from echarts 全局導入&#xff1a; main.js 中&#xff0c;導入并注冊到全局 import echarts from echarts Vue.prototype.$echart…

Clone函數

概述 Clone函數是一種用于復制的計算機函數。在程序編寫中&#xff0c;除了自定義一個拷貝構造函數來實現對象復制外&#xff0c;還可以實現一個clone函數。這需要借助編譯器實現的一個隱藏拷貝構造函數&#xff0c;這樣的做法&#xff0c;更省心。 中文名clone函數外文名clon…

C# 使用FFmpeg.Autogen對byte[]進行編解碼

C# 使用FFmpeg.Autogen對byte[]進行編解碼&#xff0c;參考&#xff1a;https://github.com/vanjoge/CSharpVideoDemo 入口調用類&#xff1a; using System; using System.IO; using System.Drawing; using System.Runtime.InteropServices; using FFmpeg.AutoGen;namespace F…

C++11異步與通信之 packaged_task

概念簡介 packaged_task 用于包裝可調用目標(Callable)為一個對象,如lambda&#xff0c;普通函數&#xff0c;小括號重載等&#xff0c;用于異步調用。 其返回值或所拋異常被存儲于能通過 std::future 對象訪問的共享狀態中&#xff0c;和promise類似。 將函數的調用與函數返…

時序預測 | MATLAB實現EEMD-LSTM、LSTM集合經驗模態分解結合長短期記憶神經網絡時間序列預測對比

時序預測 | MATLAB實現EEMD-LSTM、LSTM集合經驗模態分解結合長短期記憶神經網絡時間序列預測對比 目錄 時序預測 | MATLAB實現EEMD-LSTM、LSTM集合經驗模態分解結合長短期記憶神經網絡時間序列預測對比效果一覽基本介紹模型搭建程序設計參考資料 效果一覽 基本介紹 時序預測 | …

小龜帶你妙寫排序之快速排序

快速排序 一. 快速排序原理二. 題目三. 快速排序的思路分析&#xff08;圖文結合&#xff09;四.代碼 一. 快速排序原理 先從數據序列中選一個元素&#xff0c;并將序列中所有比該元素小的元素都放到它的右邊或左邊&#xff0c;再對左右兩邊分別用同樣的方法處之直到每一個待處…

runtime error: member access within misaligned address(力扣最常見錯誤之一)

runtime error: member access within misaligned address&#xff08;力扣最常見錯誤之一&#xff09; 前言原因和解決辦法總結 前言 最近博主在刷力扣時&#xff0c;明明代碼邏輯都沒問題&#xff0c;但總是報下面這個錯誤&#xff1a; runtime error: member access within…

django實現登錄和登錄的鑒權

1、創建數據庫的管理員表 在models.py 中定義admin表&#xff0c;為了簡單&#xff0c;表里只有用戶名和密碼還有默認加的id 三個字段 from django.db import models# Create your models here.class Admin(models.Model):username models.CharField(verbose_name"用戶…

源碼框架-三勾軟件

javaspringboot微信小程序商城SAAS前后端源碼: 三勾商城是開發友好的微信小程序商城&#xff0c;框架支持SAAS&#xff0c;支持發布 iOS Android 公眾號 H5 各種小程序&#xff08;微信/支付寶/百度/頭條/QQ/釘釘/淘寶&#xff09;等多個平臺&#xff0c;不可多得的二開神器…

訓練用于序列分類任務的 RoBERTa 模型的適配器

介紹 NLP當前的趨勢包括下載和微調具有數百萬甚至數十億參數的預訓練模型。然而,存儲和共享如此大的訓練模型非常耗時、緩慢且昂貴。這些限制阻礙了 RoBERTa 模型開發更多用途和適應性更強的 NLP 技術,該模型可以從多個任務中學習并針對多個任務進行學習;在本文中,我們將重…

Kafka:安裝和配置

producer&#xff1a;發布消息的對象&#xff0c;稱為消息產生者 &#xff08;Kafka topic producer&#xff09; topic&#xff1a;Kafka將消息分門別類&#xff0c;每一個消息稱為一個主題&#xff08;topic&#xff09; consumer&#xff1a;訂閱消息并處理發布消息的對象…

模擬 枚舉

分享牛客算法基礎精選題單題目打卡!!! 目錄 字符串的展開 多項式輸出 機器翻譯 : 鋪地毯 : [NOIP2016]回文日期 字符串的展開 原題鏈接 : 字符串的展開 思路 : 模擬 代碼 : #include<iostream> #include<cstring> #include<algorithm> using na…