大數據排重

注意用來排重的那個集合放到Set中, 可以是HashSet,或者其他Set(推薦使用HashSet),因為Set的contains效率更高,比list高很多

----------------------------------------------------------------------------------------------------------------------------------------------------------------------

我們有1000萬條數據,保存在一個txt中,每一行一行的讀,然后如果有重復的數據則忽略,cardArr[0])里保存的是流水號,我們最終的數據 流水號不能相同

Set<String> serialNoList = new HashSet<String>();//保存流水號,用于去重- - - - - - - - - - 這里是個set,因為set的contains的效率更高

while ((line = reader.readLine()) != null) {

  

  String[] cardArr = line.split("\\|");

  //如果文件中的流水號重復,則去重
  if(serialNoList.contains(cardArr[0])){
    continue;
  }
  serialNoList.add(cardArr[0]);

}

http://blog.tommyyang.cn/2017/11/06/%E5%A4%A7%E6%95%B0%E6%8D%AEList%E5%8E%BB%E9%87%8D/

?

轉載于:https://www.cnblogs.com/donefive/p/9705999.html

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/250599.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/250599.shtml
英文地址,請注明出處:http://en.pswp.cn/news/250599.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

大前端成長路徑

路徑(持續更新): 以下是我不同時期的博客鏈接可以和我的GitHub共同食用大家可以對比一下,我學的過程是緩慢型的… learning: 0個月 2018年09月開始接觸前端,前端三劍客一個不知道一個不懂,于是對著W3C、菜鳥教程.一個一個敲開始啃紅寶書《JavaScript高級程序設計》(第3版) le…

工具:meson+ninja(安裝問題解決)

問題1&#xff1a;Python版本問題 報錯信息&#xff1a; NOTICE: You are using Python 3.6 which is EOL. Starting with v0.62.0, Meson will require Python 3.7 or newer ubuntu 18默認的python3是3.6. 解決方案1&#xff1a;從源碼安裝python 3.7 wget https://www.pyth…

ListMapSet的操作和遍歷

List&Map&Set的操作和遍歷 Java的三大集合即&#xff1a;Set、List、Map。 Set&#xff1a;代表無序、不可重復的集合&#xff0c;常用的有HashSet&#xff08;哈希表實現&#xff09;、TreeSet&#xff08;紅黑樹實現&#xff09;&#xff1b;List&#xff1a;代表有序…

PHP中的魔術方法

概述 在面向對象編程中&#xff0c;PHP提供了一系列的魔術方法&#xff0c;這些魔術方法為編程提供了很多便利。PHP中的魔術方法通常以__(兩個下劃線)開始&#xff0c;并且不需要顯示的調用而是由某種特定的條件出發。這篇文章簡單總結了PHP中提供的魔術方法。 開始之前 在總結…

執行caffe的draw_net.py出現“GraphViz's executable dot not found”的解決方法

執行caffe的draw_net.py出現“GraphVizs executable "dot" not found”的解決方法 控制臺輸入如下指令畫網絡圖&#xff1a;python ../../../python/draw_net.py train.prototxt train.png --rankdirTB &#xff08;Top-Bottom形式&#xff0c;縱向圖&#xff09;pyt…

配置 --- vscode自定義代碼段Snippets

目標 在vscode中輸入vbs-vue 然后產生一個自己想要的模板 寫好模板 在線上寫好模板傳送門: https://snippet-generator.app/ 1是標題,對應 2是前綴.對應在vue中使用的快捷鍵 vbs-vue3就是需要顯示的代碼段了 在vscode中配置 1.ctrlshiftp2.選擇 Preferences: Configure U…

centos6安裝composer

需要使用到curl&#xff0c;沒有的話需要 yum -y install curl ###安裝一、下載&#xff1a;curl -sS https://getcomposer.org/installer | php &#xff08;如果是網絡原因多試幾次&#xff09; 二、移動composer.phar移動到環境下讓其變成可執行&#xff1a;mv compose…

透明圖與元素居中

1,定位讓元素居中 1. 透明度 opacity 默認值是1 不透明 0是全透明轉載于:https://www.cnblogs.com/Shinigami/p/9709382.html

配置 --- vscode中react格式化解決方案

選擇右下角的語言 在彈出框搜react選擇 JavaScript React(或者根據需求選擇 TypeScript React) 快捷鍵, windows下 Alt SHIFT F

【商城購物車】購物車邏輯

轉載于:https://www.cnblogs.com/xuzhengzong/p/8746677.html

PHP遞歸實現無限極分類

PHP遞歸實現無限極分類 摘要 今天在編碼的時候要用到二級的欄目分類&#xff0c;所以順便就把無限極分類給整理了一下&#xff0c;采用的是遞歸方法 //實現無限級分類public function getTree(){$categorys Category::all();return $this->makeTree($categorys, cate_id,…

IO NIO

1,Java NIO Java non-blocking IO 即 非阻塞IO,線程在等待的時候&#xff0c;可以做其他的事情。 2,IO 對比NIO IO 是面向流&#xff0c;NIO 是面向緩沖 面向流是指每次從流中讀出一個或者多個字節&#xff0c;直到全部讀出為止 面向緩沖區是指將數據先存到一個緩存區 IO 是阻…

react --- 生命周期 給子組件傳遞數據

子組件 /src/components/LifeCycle.js import React, { Component } from reactexport class LifeCycle extends Component {constructor(props) {super(props);// 常用于初始化狀態(狀態初始化、屬性初始化)console.log("1.組件構建函數執行");}componentWillMoun…

Vue---mock.js 使用

mockjs 概述 在我們的生產實際中&#xff0c;后端的接口往往是較晚才會出來&#xff0c;并且還要寫接口文檔&#xff0c;于是我們的前端的許多開發都要等到接口給我們才能進行&#xff0c;這樣對于我們前端來說顯得十分的被動&#xff0c;于是有沒有可以制造假數據來模擬后端接…

Java 的抽象類

Java 的抽象類 用abstract關鍵字來修飾一個類時&#xff0c;這個類叫做抽象類&#xff1b;用abstract來修飾一個方法時&#xff0c;該方法叫做抽象方法。 抽象方法&#xff1a;只有方法的聲明&#xff0c;沒有方法的實現。以分號結束&#xff1a;abstract int abstractMethod…

react --- 按需加載組件

問題描述 使用 antd庫時使用按鈕,須導入如下 import Button from antd/lib/button import antd/dist/antd.css這樣會導入全局的樣式. 解決方案,配置按需加載 1.安裝 react-app-rewired取代 react-scripts, 可以擴展webapack 的配置, 類似vue.config.jsnpm install react-ap…

flask 實現異步非阻塞----gevent

我們都知道&#xff0c;flask不支持異步非阻塞的請求&#xff0c;我們可以創建一個新項目去測試一下&#xff0c;推薦大家使用pycharm去開發我們的flask 使用特別的方便。 rom flask import Flask import time app Flask(__name__) app.route(/) def hello_world():time.slee…

Axure下拉框級聯操作

現實生活中有很多的下拉框是級聯操作的&#xff0c;即因為第一個下拉框的選擇&#xff0c;影響到后面的下拉框的選擇的列表的數據。或許在代碼中&#xff0c;這些操作相對比較簡單&#xff0c;通過前一個下拉框的選擇項來控制后一個下拉框的數據的動態添加。那么&#xff0c;如…

react --- render持續調用解決方案

問題描述: 在某個組件中.有可能頻繁的取數據(但是數據未改變,因此不需要更新).數據的頻繁請求會觸發render函數,造成性能消耗模擬代碼如下 export class CommentList extends Component {constructor(props) {super(props);this.state {comments: []}}// 模擬頻繁的獲取新數…

Java 的工廠方法及代理模式

Java 的工廠方法及代理模式 工廠方法(FactoryMethod) 概述&#xff1a;定義一個用于創建對象的接口&#xff0c;讓子類決定實例化哪一個類。FactoryMethod使一個類的實例化延遲到其子類。 適用性&#xff1a; 當一個類不知道它所必須創建的對象的類的時候當一個類希望由它的…