Databend 開源周報第 106 期

Databend?是一款現代云數倉。專為彈性和高效設計,為您的大規模分析需求保駕護航。自由且開源。即刻體驗云服務:https://app.databend.cn?。

What's On In Databend

探索 Databend 本周新進展,遇到更貼近你心意的 Databend 。

數據脫敏

Databend 新增數據脫敏能力。通過設定脫敏策略(Masking Policy),可以控制敏感數據的顯示或訪問方式,從而在允許授權用戶與數據交互的同時保護機密性。

-- Create a masking policy
CREATE MASKING POLICY email_mask
AS(val string)RETURNS string ->CASEWHEN current_role() IN ('MANAGERS') THENvalELSE'*********'ENDCOMMENT = 'hide_email';-- Associate the masking policy with the 'email' column
ALTER TABLE user_info MODIFY COLUMN email SET MASKING POLICY email_mask;

數據脫敏?需要升級至?企業版?。如需了解升級信息,請聯系?Databend 團隊?。

如果您想了解更多信息,請查看下面列出的資源。

  • Docs | MASKING POLICY

Code Corner

一起來探索 Databend 和周邊生態中的代碼片段或項目。

為 Python Binding 支持?show()?方法

在 PySpark 、DuckDB、DataFusion 的 Python 綁定/包中均支持了?show()?方法,用于輸出前 n 行結果。

Databend 最近也通過 PyO3 為 Python Binding 實現了相應的支持,代碼片段如下。

    #[pyo3(signature = (num=20))]fn show(&self, py: Python, num: usize) -> PyResult<()> {let blocks = self.collect(py)?;let bs = self.get_box();let result = blocks.box_render(num, bs.bs_max_width, bs.bs_max_width);// Note that println! does not print to the Python debug console and is not visible in notebooks for instancelet print = py.import("builtins")?.getattr("print")?;print.call1((result,))?;Ok(())}

如果您想了解更多信息,請查看下面列出的資源。

  • Issue #12255 | For Python compatibility, please add show() method

Highlights

以下是一些值得注意的事件,也許您可以找到感興趣的內容。

  • 支持分布式?REPLACE INTO?。
  • 支持用于計算向量 2 范數(歐幾里得范數)的算符?<->?。
  • 新增地理位置函數:h3_to_center_child?/?h3_exact_edge_length_m?/?h3_exact_edge_length_km?/?h3_exact_edge_length_rads?/?h3_num_hexagons?/?h3_line?/?h3_distance?/?h3_hex_ringh3_get_unidirectional_edge
  • 閱讀文檔?Docs | ALTER TABLE COLUMN?了解如何利用添加、轉換、重命名、更改或刪除列等操作修改表。

What's Up Next

我們始終對前沿技術和創新理念持開放態度,歡迎您加入社區,為 Databend 注入活力。

為 Hive Catalog 添加存儲后端支持

此前 Databend 的 Hive Catalog 實現缺反自己的存儲后端配置,只能回滾到 Default Catalog 對應的存儲后端。導致當 Hive MetaStore 指向的存儲服務與 Default Catalog 配置不一致時無法讀取數據。

現在計劃為 Hive Catalog 引入 CONNECTION 選項,允許對存儲后端進行配置,解決異構存儲下的 Hive 加速問題。

CREATE CATALOG hive_ctl
TYPE=HIVE
HMS_ADDRESS='127.0.0.1:9083'
CONNECTION=(URL='s3://warehouse/'AWS_KEY_ID='admin'AWS_SECRET_KEY='password'ENDPOINT_URL='http://localhost:9000'
);

Issue #12407 | Feature: Add storage support for Hive catalog

如果你對這個主題感興趣,可以嘗試解決其中的部分問題或者參與討論和 PR review 。或者,你可以點擊?Add function to infer schema from files(CSV/Parquet) · Issue #6345 · datafuselabs/databend · GitHub?來挑選一個隨機問題,祝好運!

New Contributors

一起認識社區中的新伙伴,Databend 因你們而變得更加美好。

  • @parkma99?修復了?CREATE ROLE?時的解析問題,#12341?。

Changelog

前往查看 Databend 每日構建的變更日志,以了解開發的最新動態。

地址:Releases · datafuselabs/databend · GitHub

Contributors

非常感謝貢獻者們在本周的卓越工作。

?

Connect With Us

Databend 是一款開源、彈性、低成本,基于對象存儲也可以做實時分析的新式數倉。期待您的關注,一起探索云原生數倉解決方案,打造新一代開源 Data Cloud。

  • Databend Website
  • GitHub Discussions
  • Twitter
  • Slack Channel

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/43601.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/43601.shtml
英文地址,請注明出處:http://en.pswp.cn/news/43601.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

云原生 AI 工程化實踐之 FasterTransformer 加速 LLM 推理

作者&#xff1a;顏廷帥&#xff08;瀚廷&#xff09; 01 背景 OpenAI 在 3 月 15 日發布了備受矚目的 GPT4&#xff0c;它在司法考試和程序編程領域的驚人表現讓大家對大語言模型的熱情達到了頂點。人們紛紛議論我們是否已經跨入通用人工智能的時代。與此同時&#xff0c;基…

ISBN號碼(NOIP2008 普及組第一題)

ISBN號碼 說明 每一本正式出版的圖書都有一個ISBN號碼與之對應&#xff0c;ISBN碼包括9位數字、1位識別碼和3位分隔符&#xff0c;其規定格式如“x-xxx-xxxxx-x”&#xff0c;其中符號“-”就是分隔符&#xff08;鍵盤上的減號&#xff09;&#xff0c;最后一位是識別碼&#x…

CCF C3 走進百度:大模型與可持續生態發展

2023年8月10日&#xff0c;由CCF CTO Club發起的第22期C活動在百度北京總部進行&#xff0c;以“AI大語言模型技術與生態發展”主題&#xff0c;50余位企業界、學界專家、研究人員就此進行深入探討。 CCF C走進百度 本次活動&#xff0c;CCF秘書長唐衛清與百度集團副總裁、深…

如何保證數據傳輸的安全?

要確保數據傳輸的安全&#xff0c;您可以采取以下措施&#xff1a; 使用加密協議&#xff1a;使用安全的傳輸協議&#xff0c;如HTTPS(HTTP over SSL/TLS)或其他安全協議&#xff0c;以保護數據在傳輸過程中的安全性。加密協議可以有效防止數據被竊聽或篡改。 強化身份驗證&…

3種獲取OpenStreetMap數據的方法【OSM】

OpenStreetMap 是每個人都可以編輯的世界地圖。 這意味著你可以糾正錯誤、添加新地點&#xff0c;甚至自己為地圖做出貢獻&#xff01; 這是一個社區驅動的項目&#xff0c;擁有數百萬注冊用戶。 這是一個社區驅動的項目&#xff0c;旨在在開放許可下向每個人提供所有地理數據。…

【云計算原理及實戰】初識云計算

該學習筆記取自《云計算原理及實戰》一書&#xff0c;關于具體描述可以查閱原本書籍。 云計算被視為“革命性的計算模型”&#xff0c;因為它通過互聯網自由流通使超級計算能力成為可能。 2006年8月&#xff0c;在圣何塞舉辦的SES&#xff08;捜索引擎戰略&#xff09;大會上&a…

Sentinel 規則持久化

文章目錄 Sentinel 規則持久化一、修改order-service服務1.引入依賴2.配置nacos地址 第二步修改非常麻煩&#xff0c;可以略過&#xff0c;直接使用已經打好包的來使用二、修改sentinel-dashboard源碼1. 解壓2. 修改nacos依賴3. 添加nacos支持4. 修改nacos地址5. 配置nacos數據…

HCIP第五節------------------------------------------ospf

一、OSPF基礎 1、動態路由分類 2、距離矢量協議 運行距離矢量路由協議的路由器周期性地泛洪自己的路由表。通過路由的交互&#xff0c;每臺路由器都從相鄰的路由器學習到路由&#xff0c;并且加載進自己的路由表中&#xff0c;然后再通告給其他相鄰路由器。 對于網絡中的所有…

Django框架使用定時器-APScheduler實現定時任務:django實現簡單的定時任務

一、系統環境依賴 系統&#xff1a;windows10 python: python3.9.0 djnago3.2.0 APScheduler3.10.1 二、django項目配置 1、創建utils包&#xff0c;在包里面創建schedulers包 utils/schedulers/task.py #1、設置 Django 環境&#xff0c;就可以導入項目的模型類這些了 …

AR/VR眼鏡轉接器方案,實現同時傳輸視頻快充方案

簡介 虛擬現實頭戴顯示器設備&#xff0c;簡稱VR頭顯VR眼鏡&#xff0c;是利用仿真技術與計算機圖形學人機接口技術多媒體技術傳感技術網絡技術等多種技術集合的產品&#xff0c;是借助計算機及最新傳感器技術創造的一種嶄新的人機交互手段。VR頭顯VR眼鏡是一個跨時代的產品。不…

AgentBench——AI智能體基準測試和排行榜

如果您有興趣了解有關如何對AI大型語言模型或LLM進行基準測試的更多信息,那么一種新的基準測試工具Agent Bench已成為游戲規則的改變者。這個創新工具經過精心設計,將大型語言模型列為代理,對其性能進行全面評估。該工具的首次亮相已經在AI社區掀起了波瀾,揭示了ChatGPT-4目…

Selenium 測試用例編寫

編寫Selenium測試用例就是模擬用戶在瀏覽器上的一系列操作&#xff0c;通過腳本來完成自動化測試。 編寫測試用例的優勢&#xff1a; 開源&#xff0c;免費。 支持多種瀏覽器 IE&#xff0c;Firefox&#xff0c;Chrome&#xff0c;Safari。 支持多平臺 Windows&#xff0c;Li…

day-23 代碼隨想錄算法訓練營(19)part09

669.修剪二叉搜索樹 思路一&#xff1a;根據二叉搜索樹的特性進行中間值與去區間值判斷&#xff0c;有三種情況&#xff1a;1.在區間中&#xff0c;所以左右子樹都可能在區間中&#xff1b; 2.在區間外面的左側&#xff0c;必然只有右子樹可能存在區間中&#xff1b;3.在區間外…

Spring中JavaBean的生命周期及模式

( 本篇文章大部分講述了是底層知識&#xff0c;理念及原理 ) ( 如果只想了解&#xff0c;看我標記的重點即可&#xff0c;如果想明白其中原理&#xff0c;請耐心看完&#xff0c;對你大有受益 ) 目錄 一、簡介 ( 1 ) 是什么 ( 2 ) 背景概述 ( 3 ) 作用 二、生命周期 2.1 …

【計算機視覺|生成對抗】StackGAN:使用堆疊生成對抗網絡進行文本到照片逼真圖像合成

本系列博文為深度學習/計算機視覺論文筆記&#xff0c;轉載請注明出處 標題&#xff1a;StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks 鏈接&#xff1a;[1612.03242] StackGAN: Text to Photo-realistic Image Synthesis…

ViewFs And Federation On HDFS

序言 ViewFs 是在Federation的基礎上提出的,用于通過一個HDFS路徑來訪問多個NameSpace,同時與ViewFs搭配的技術是client-side mount table(這個就是具體的規則配置信息可以放置在core.xml中,也可以放置在mountTable.xml中). 總的來說ViewFs的其實就是一個中間層,用于去連接不…

Vue3 setup語法糖 解決富文本編輯器上傳圖片64位碼過長問題 quill-image-extend-module

引言&#xff1a; 富文本編輯器傳圖片會解碼成64位&#xff0c;非常長導致數據庫會報錯第一種方法&#xff1a;將數據庫類型改成 mediumtext第二種辦法&#xff1a;本文中的方法 說明&#xff0c;本周文所用語法糖為Vue3 setup語法&#xff0c;即<script setup> 思路 攔…

HIVE SQL通過Lateral View + explode實現列轉行

原表&#xff1a; abAndy<碟中諜>,<諜影重重>,<007>MOMO<小鞋子>,<朋友啊你的家在哪里> 實現效果 abAndy<碟中諜>Andy<諜影重重>Andy<007>MOMO<小鞋子>MOMO<朋友啊你的家在哪里> 實現代碼&#xff1a; selec…

STM32 F103C8T6學習筆記8:0.96寸單色OLED顯示屏顯示字符

使用STM32F103 C8T6 驅動0.96寸單色OLED顯示屏: OLED顯示屏的驅動&#xff0c;在設計開發中OLED顯示屏十分常見&#xff0c;因此今日學習一下。一篇文章從程序到顯示都講通。 文章提供源碼、原理解釋、測試工程下載&#xff0c;測試效果圖展示。 目錄 OLED驅動原理—IIC通信…

無涯教程-Perl - undef函數

描述 此函數未定義EXPR的值。用于標量,列表,哈希,函數或類型范圍。在帶有諸如undef $hash {$key}之類的語句的哈希上使用&#xff1b;實際上將指定鍵的值設置為未定義的值。 如果要從哈希中刪除元素,請使用delete函數。 語法 以下是此函數的簡單語法- undef EXPRundef返回…