netflix_Netflix的Polynote

netflix

Netflix open source Polynote is a new notebook environment and was born out of the necessity to accelerate data science experimentation at Netflix.

Netflix開源Polynote是一種新的筆記本環境,其誕生是出于加速Netflix數據科學實驗的需要。

Over the last few years, Netflix has transformed its use of data science notebooks from an experimentation artifact to a key component of the lifecycle of machine learning solutions. Initially, Netflix adopted Jupyter Notebooks like a data exploration and analysis tools.

在過去的幾年中,Netflix已將其對數據科學筆記本的使用從實驗工件轉變為機器學習解決方案生命周期的關鍵組成部分。 最初,Netflix將Jupyter Notebooks用作數據探索和分析工具。

Polynote (Polynote)

Polynote is a multi-language notebook experimentation environment. In addition to Python, the current release supports languages such as SQL, Vega(visualizations) and, of course, Scala. The platform is also integrated with data science infrastructures such as Apache Spark. At its core, Polynote includes the following capabilities:

Polynote是一種多語言筆記本實驗環境。 除Python外 ,當前版本還支持SQLVega (可視化),當然還有Scala等語言 。 該平臺還與數據科學基礎架構(例如Apache Spark)集成在一起。 Polynote的核心包括以下功能

a) Improved Editing Experience: Polynote tries to enable an editing experience closer to modern IDEs. b) Multi-Language Support: Polynote introduces first-class support for Scala and other languages used in data science environmenhts. c) Data Visualization Improvements: Polynote integrates native data visualizations into notebooks’ dataset without the need of adding a lot of code. d) Configuration and Dependency Management: Languages like Scala require complex package dependencies in its programs. Polynote saves the package dependency configuration within the notebook itself addressing some of the common challenges in this area experienced by JVM developers. e) Reproducibility: The combination of code, data and execution results into a single document makes notebooks powerful, but also difficult to reproduce. Polynote includes reproducibility as a first-class capability of the framework.

a) 改進的編輯體驗: Polynote試圖使編輯體驗更接近現代IDE。 b) 多語言支持: Polynote引入了對Scala和數據科學環境中使用的其他語言的一流支持。 c) 數據可視化方面的改進: Polynote將原生數據可視化集成到筆記本的數據集中,而無需添加大量代碼。 d) 配置和依賴性管理:諸如Scala之類的語言在其程序中需要復雜的軟件包依賴性。 Polynote將包依賴項配置保存在筆記本自身中,以解決JVM開發人員在該領域遇到的一些常見挑戰。 e)可復制性:將代碼,數據和執行結果組合到一個文檔中,使筆記本功能強大,但也難以復制。 Polynote將可再現性作為框架的一流功能。

改進的編輯體驗 (Improved Editing Experience)

Polynote includes common features in IDEs such as code auto-completion or syntax error highlighting which improves the experience for data scientists and researchers building Notebooks. More of the editing capabilities are powered by the Monaco editor which powers the experience of Visual Studio Code.

Polynote包含IDE中的常見功能,例如代碼自動完成或語法錯誤突出顯示,從而改善了構建筆記本電腦的數據科學家和研究人員的體驗。 摩納哥編輯器提供了更多的編輯功能,該編輯器為Visual Studio Code的體驗提供了支持。

多國語言支持 (Multi-Language Support)

Polynote does not only provide support for multiple languages but it also allows those languages to be combined in a single program. In Polynote, every cell can be based on a different language. When a cell is run, the kernel provides the available typed input values to the cell’s language interpreter. In turn, the interpreter provides the resulting typed output values back to the kernel. This allows cells in Polynote notebooks to operate within the same context. The example below shows a Python library, to compute an isotonic regression of a dataset generated with Scala.

Polynote不僅提供對多種語言的支持,而且還允許將這些語言組合在一個程序中。 在Polynote中,每個單元格可以基于不同的語言。 當單元運行時,內核將可用的類型化輸入值提供給單元的語言解釋器。 反過來,解釋器將結果輸入的輸出值提供回內核。 這使Polynote筆記本中的單元格可以在相同的上下文中運行。 下面的示例顯示了一個Python庫,用于計算使用Scala生成的數據集的等滲回歸。

Image for post
Source: https://polynote.org/
資料來源: https : //polynote.org/

數據可視化 (Data Visualization)

Data visualizations are a common component of most notebook environment. However, Polynote takes the visualization value proposition to another level by including it as a native component of the platform which does not require developers to write any code in order to visually explore a dataset.

數據可視化是大多數筆記本環境的常見組件。 但是,Polynote通過將可視化價值主張作為平臺的本機組件,將可視化價值主張提升到了另一個層次,不需要開發人員編寫任何代碼即可直觀地瀏覽數據集。

組態 (Configuration)

Most of the time, data scientists working on notebooks can enjoy the efficiency of Python’s package management model to handle the dependencies of a program. However, in JVM-languages like Scala dependency management can become a total night mare. Polynote addresses that challenge by storing the configuration and dependency information directly in the notebook itself, rather than relying on external files. Additionally, Polynote provides a user-friendly Configuration section where users can set dependencies for each notebook.

大多數時候,從事筆記本工作的數據科學家可以享受Python的包管理模型處理程序依賴關系的效率。 但是,在諸如Scala依賴關系管理之類的JVM語言中,它們可能會變成一頭噩夢。 Polynote通過將配置和相關性信息直接存儲在筆記本本身中而不是依賴于外部文件來解決這一挑戰。 此外,Polynote還提供了一個用戶友好的“配置”部分,用戶可以在其中為每個筆記本設置依賴性。

Image for post
Source: https://polynote.org/
資料來源: https : //polynote.org/

重現性 (Reproducibility)

With Polynote, Netflix a new code interpretation block instead of relying on a REPL model like a traditional notebook. One of the key capabilities of the new interpretation model is that it removes hidden states which allows data scientists to copy cells within a notebook without introducing any state from the previous position.

借助Polynote,Netflix有了新的代碼解釋模塊,而不再像傳統筆記本那樣依賴REPL模型。 新解釋模型的關鍵功能之一是,它消除了隱藏狀態,這使數據科學家可以在筆記本中復制單元而無需從先前位置引入任何狀態。

Polynote is a new release in the ambitious competitive of data science notebooks but one that stands in its own merits. The support for JVM-based languages could make Polynote a favorite of developers working on Spark infrastructures. Also the editing and reproducatility capabilities are definitely welcomed enhancements to traditional notebook environments. Polynote is available in Github and you can also follow the project’s website.

Polynote是在雄心勃勃的數據科學筆記本電腦競爭中推出的新版本,但它有自己的優點。 對基于JVM的語言的支持可能使Polynote成為使用Spark基礎結構的開發人員的最愛。 同樣,編輯和再現性功能無疑是對傳統筆記本環境的增強。 Polynote 在Github中可用,您也可以訪問該項目的網站 。

Image for post
Source: https://polynote.org/
資料來源: https : //polynote.org/

推薦文章 (Recommended Articles)

  1. Learn Python & ML with Kaggle

    使用Kaggle學習Python和ML

  2. GitHub Launches Codespaces

    GitHub啟動代碼空間

  3. Netflix’s Polynote

    Netflix的Polynote

  4. The List of Top 10 lists

    前十名名單

  5. Most popular Python libraries

    最受歡迎的Python庫

  6. Top Data Science Courses & Certification for 2020

    2020年熱門數據科學課程和認證

  7. Influencers in AI to follow

    人工智能中的影響者要關注

  8. Data Science Programming Languages

    數據科學編程語言

  9. Examples of Artificial Intelligence

    人工智能的例子

  10. What the BigTech Knows… about You

    BigTech對您的了解...

  11. Lemonade and the power of Artificial Intelligence

    檸檬水和人工智能的力量

Source and original: https://www.kdnuggets.com by Jesus Rodriguez

出處和原文: https : //www.kdnuggets.com ,作者:耶穌·羅德里格斯(Jesus Rodriguez)

翻譯自: https://medium.com/swlh/netflixs-polynote-34b5adcb064a

netflix

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/392221.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/392221.shtml
英文地址,請注明出處:http://en.pswp.cn/news/392221.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Django-內置用戶系統

Django自帶的用戶認證 我們在開發一個網站的時候,無可避免的需要設計實現網站的用戶系統。此時我們需要實現包括 1.用戶注冊 2.用戶登錄 3.用戶認證 4.注銷 5.修改密碼 Django作為一個完美主義者的終極框架,當然也會想到用戶的這些痛點。它內置了強大的用…

React 與 可視化

一般會想到 canvas 和 svg ; svg更適合畫圖, 但由于cavans在移動端的良好兼容性, 使用的更廣; 什么是svg, scalable vector graphics 全稱 可縮放矢量圖形, 是一種來描述二維矢量圖形的xml語言 canvas 能做的 svg基本都可以做, 字體圖標, icon, logo 也能作 在ie上也是從ie9開…

css 跳動的心_如何用純CSS為您的情人打造一顆跳動的心

css 跳動的心Each year on February 14th, many people exchange cards, candies, gifts or flowers with their special “valentine”. The day of romance we call Valentine’s Day is named for a Christian martyr and dates back to the 5th century, but has origins i…

oracle怎么獲取行,在oracle中如何實現SELECT TOP N取得前幾行記錄

在sql server中可以通過SELECT TOP N來取得想要結果的前幾行的信息。但是在oracle中必須借助偽列rownum來完成一個查詢語句在取得結果集后,偽列rownum就會從1開始,從上往下依次遞增。rownum是對結果集的編序排列。例如下表:SQL> select id…

圖片管理程序(Java)

圖片管理程序 gitee完整代碼下載 github完整代碼下載 華南農業大學課程設計作品(99分) 問題描述 題目目的是編寫一個能夠對數字像片進行管理的應用程序。 程序能夠顯示的圖片格式包括,.JPG、.JPEG、.GIF、.PNG、和.BMP。 圖像文件尺寸,要求能夠處理從…

氣流與路易吉,阿戈,MLFlow,KubeFlow

任務編排工具和工作流程 (Task orchestration tools and workflows) Recently there’s been an explosion of new tools for orchestrating task- and data workflows (sometimes referred to as “MLOps”). The quantity of these tools can make it hard to choose which o…

移動WEB開發之JS內置touch事件[轉]

iOS上的Safari也支持click 和mouseover等傳統的交互事件,只是不推薦在iOS的瀏覽器應用上使用click和mouseover,因為這兩個事件是為了支持鼠標點擊而設計 出來的。Click事件在iOS上會有半秒左右的延遲,原因是iOS要highlight接收到click的eleme…

編寫代碼的軟件用什么編寫的_如何通過像編寫代碼一樣克服對編寫的恐懼

編寫代碼的軟件用什么編寫的by Chris Rowe通過克里斯羅 How often do you get the fear? What do I mean by fear? How about the knot I got in my stomach just before I plunged out of plane on a parachute jump? It’s more than the brain logically planning to av…

快速學習一個新的模塊

1、模塊名.__doc__查看函數簡介,為了便于查看,采用print(模塊名.__doc__)打印出來,這樣的格式便于查看。 2、采用內置方法dir()查看模塊的變量、函數、類等等;采用"模塊名.__all__"查看模塊中提供…

php 公鑰格式轉換,如何把OpenSSH公鑰轉換成OpenSSL格式

《如何把OpenSSH公鑰轉換成OpenSSL格式》要點:本文介紹了如何把OpenSSH公鑰轉換成OpenSSL格式,希望對您有用。如果有疑問,可以聯系我們。首先看看OpenSSL工具的簡單使用方法,我們以rsa加密算法為例生成一個私鑰:openssl genrsa -o…

模擬操作系統(Java)

gitee完整代碼下載 github完整代碼下載 一、 需求分析 模擬一個采用多道程序設計方法的單用戶操作系統,該操作系統包括進程管理、存儲管理、設備管理、文件管理和用戶接口四部分。預計程序所能達到的功能: 進程管理模擬:實現操作系統進程管…

數據庫面試復習_數據科學面試復習

數據庫面試復習大面試前先刷新 (REFRESH BEFORE THE BIG INTERVIEW) 介紹 (Introduction) I crafted this study guide from multiple sources to make it as comprehensive as possible. This guide helped me prepare for both the technical and behavioral aspects of the …

hibernate緩存

(轉自:http://www.cnblogs.com/java-class/p/6108175.html) 閱讀目錄 1. 為什么要用 Hibernate 緩存?2. 項目實戰3. Hibernate 緩存原理回到頂部1. 為什么要用 Hibernate 緩存? Hibernate是一個持久層框架,…

oracle 連接greenplum,Oracle通過DBLINK訪問GreenPlum

為多個數據庫之間的整合和遷移做POC,嘗試使用Oracle Gateway和Heterogeneous Service來中轉訪問,測試過好多次,最終發現只有在32位的Oracle當中才能成功配置。 配置環境如下: Windows 2003 32bit 或 Windows 2008 64bit Oracle10G…

如何使用React和Redux前端創建Rails項目

by Mark Hopson馬克霍普森(Mark Hopson) 如何使用React和Redux前端(加上Typescript!)創建Rails項目 (How to create a Rails project with a React and Redux front-end (plus Typescript!)) 在Rails項目中使用React和Redux設置單頁Javascript App的完整指南。 (A …

分布與并行計算—用任務管理器畫CPU正弦曲線(Java)

class drawSin implements Runnable{Overridepublic void run() {final double SPLIT 0.01;// 角度的分割final int COUNT (int) (2 / SPLIT);// 2PI分割的次數,也就是2/0.01個,正好是一周final double PI Math.PI;final int interval 100;// 時間間…

Rails文件上傳file_field報錯Encoding::UndefinedConversionError

服務器用的是ubuntu12 64bit,環境是ruby1.9.3rails3mysql,測試是在windows2003上。 上傳一個【.gitconfig】文件,沒有問題,上傳【新浪微博數據挖掘.pdf】報錯,上傳【back.jpg】報錯。 下面是兩段信息,是從【…

好久不來這里寫東西了.

我正準備離開學校去實現自己的目標,很清楚自己在學校的... ...做共享程序員,就不得不考慮些商業上的東西,自己要吃飯啊!我想我是該好好的處理一下這二者的關系. 轉載于:https://www.cnblogs.com/wangxiang/archive/2007/01/01/609714.html

Asp.net mvc中使用配置Unity

第一步:添加unity.mvc 第二步:在添加之后會在app_start中生成UnityConfig.cs,UnityMvcActivator.cs 第三步:使用 第四步:效果展示 轉載于:https://www.cnblogs.com/WJ--NET/p/7117839.html

頂級數據恢復_頂級R數據科學圖書館

頂級數據恢復Data science is the discipline of making data useful數據科學是使數據有用的學科 When we talk about the top programming language for Data Science, we often find Python to be the best fit for the topic. Sure, Python is undoubtedly an excellent cho…