要載入的資料檔(csv)太大,有辦法先切開再處理嗎?

原本都是先讀進來後再處理後再轉成要的資料(Text)儲存,
可是現在手頭有一筆資料大到連讀進來都沒辦法…
有辦法先切割嗎?
像是每次先切10萬筆Rows這樣?
感謝~~

是用LabVIEW讀? 用Excel讀? 用筆記本讀?

是用哪一種呢?

用LabVIEW讀,而且因為資料大到誇張,
用一般的套奘軟體讀取會讀到當掉…
將近3G的資料…

如果你安裝的是LabVIEW 64bit的話,3GB可以讀得進來。
你已經有現有的程式嗎? 你希望改進你現有的程式? 還是建立一個新的程式,去專門分割檔案?

可以一次把你的測試環境,軟硬體環境,遇到的問題,都一次說明清楚嗎? 或是你只是要問:LabVIEW「可以」或「不可以」讀取3GB以上的資料。

如果是這樣的話,那答案是「LabVIEW 64bit 可以讀取3GB以上的資料」


怎麼發問

當你提出一個問題時,首先應該說明你在提問題之前做了什麼,閱讀過什麼相關書籍等等。草率的問題通常只能得到草率的回答,或者根本得不到答案。越表現出尋求幫助時為解決問題付出的努力,你越能得到實質上的幫助。

  1. 謹慎選擇討論區,不要將你的問題張貼在風馬牛不相干的討論區。
  2. 用辭貼切,語法正確,拼寫無誤
  3. 使用含義豐富,描述準確的標題,禁止使用如:「幫幫忙」、「救命呀!!!」等等令人反感的標題。
  4. 明白你想問什麼。漫無邊際的提問近乎無休無止的時間黑洞。
  5. 謙遜絕沒有害處,而且常常幫大忙
  6. 問題解決後,加個簡短說明。讓下一個有類似問題的人能從你的問題學到知識。

公司使用的是的LabVIEW 2016 32bit版本,
我現在的做法是用Read Delimited Spreadsheet讀進來,
然後資料處理後
再用Write Delimited Spreadsheet寫成一個新的TXT檔,
可是一執行就會跳出
Error 1 occurred at Read File+(string):Read File
確認不是因為檔案名稱或長度的問題…
所以想說先嚐試切成小一點的檔案重新讀取看看
謝謝~

Read Delimited Spreadsheet 的參數設定一下就可以了
每次讀幾行,讀的時候offset多少

2個讚