2014年5月20日 星期二

powerbuilder匯入(讀取)檔案時的注意技巧

先看看下面一段程式碼:

ls_path = "C:\inetpub\ftproot\upload\custOrder.txt"
do while FileExists(ls_path)
   yield()
loop
dw_1.importFile(text!,ls_path)
// next , processing dw1 row data
FileDelete(ls_path)

這是一個讓客戶用FTP上傳檔案後,並讀取檔案內容,處理後便把檔案刪除的作業,邏輯上是合理的,絕大多數的情況下也是沒有問題的。

但是偶爾發生了客戶資料沒有處理的問題,客戶也說明明就上傳成功了,FTP傳輸日誌有出現傳輸成功的指令,但,為什麼卻沒有處理到資料?

這段程式碼持續使用迴圈檢查檔案是否生成,只要檔案出現就進行讀取。

這看起來沒有錯,但是卻常常發生檔案讀出空白或是不完整的情況。

為什麼會這樣?
最大問題出在『時間差』,也就是檔案名稱產生的時間和檔案內容產生的時間有時間差異存在。檔案越大這個問題越明顯!

因為檔案系統會先生成檔案名稱並賦予記憶體指標(檔案內容緩衝區),當檔案指標被應用程式Close時,OS才會把檔案內容緩衝區的內容,寫到磁碟機上。



這個動作是作業系統為了加快檔案處理的速度而設計,緩衝區大小預設為磁碟sector大小,也就是說你的磁碟如果 sector 是 512K ,預設緩衝區就是 512K,若是sector 為 4096K,緩衝區就是 4096K。然而這個緩衝區可以依照應用程式去要求作業系統調整的,基本的原則是sector的倍數。
相關參考:微軟檔案緩存資料緩存定義

因此,要如何判斷得知檔案是否已經寫入完成,並且可以讀取呢?

目前我測試有兩種方法可以使用:
一、檔案大小法:如果運作的磁碟機 Sector 是 512K,而你非常肯定你的檔案大小絕對不會超過512K,那很好,除了取得檔案名稱外另外加判斷檔案大小,只要取得的檔案大小超過0,就代表檔案已經從緩衝區 Flush或Close 了,這樣就可以讀取了。

ls_path = "C:\inetpub\ftproot\upload\custOrder.txt"
do while FileExists(ls_path)
   yield()
loop

if FileLength(ls_path) > 0 tehn
   dw_1.importFile(text!,ls_path)
   // next , processing dw1 row data
   FileDelete(ls_path)
else
  //go next perpare reading loop cycle
end if

二、檔案鎖定法:利用獨佔式開啟檔案方式,確認該檔案是否已經被FTP釋放(Close)掉。

ls_path = "C:\inetpub\ftproot\upload\custOrder.txt"
do while FileExists(ls_path)
   yield()
loop

/*利用R/W lock來開啟檔案,開啟成功就代表檔案已經釋放,開啟失敗,代表檔案還被FTP使用中*/
li_file = FileOpen(ls_path,StreamMode,Read!,LockReadWrite!)
if li_file > 0 tehn
   // 這裡使用pb10版本提供的ReadEx比較方便,若是舊版,請記得使用迴圈讀取檔案全部內容
   ll_byte = FileReadEx(li_file,ls_data)
   FileClose(li_file)
   // 改用ImportString
   dw_1.importString(text!,ls_data)
   // next , processing dw1 row data
   FileDelete(ls_path)
else
  //go next perpare reading loop cycle
end if

請注意,範例裡的測試檔案存在的迴圈沒有停止機制,如果您要實作,記得要加上停止機制以免當檔案一直不出現就會出現的無限迴圈


2014年5月19日 星期一

Coldfusion直接讀取/產生Excel檔案 (使用POI元件)

最近在 Ben Nadel 先生的網站發現他有個Component計畫,他利用 apache.org 的 poi project 來製作一個可以讀寫 EXCEL 檔案的 Component,操作 EXCEL 檔真的蠻方便的。而且 poi project 以處理 office文件為目標,算是很棒的專案。

正在想如何直接透過 Coldfusion 網頁處理客戶的 Excel 檔案時,這真是一大幫助啊!

請先參考相關連結:

apache.org 的 poi 計畫 apache poi jar下載

Ben Nadel 的 POIUtility 文章出處Ben Nadel 的 POIUtility 專案

我的環境
本人使用 Railo 3.3.4.003 執行 Coldfusion ,所以核心是 Apache 比較沒有問題,至於Adobe的Coldfusion可能要再研究一下 Ben Nadel 的專案了。

1、下載  JAR 檔案
注意下載的 poi jar 版本,由於我使用的 Railo 3.3.4.003版本無法搭配最新的 poi,所以測試到使用 poi-3.0-FINAL.jar 是沒有問題的,太新的反而不能用。

把下載的 jar 放在 Railo Server 路徑下的 \lib\ext 裡面,重新啟動服務即完成掛載。

2、下載 Ben Nedal 的 POIUtility.cfc

假設網頁運行路徑在 \webroot\
你可接放在 \webroot\
而我的測試是放在 \webroot\COM 裡面 (我個人習慣Component都是放在COM路徑下)

3-1、測試一:讀取全部
首先,建立一個 Excel 檔案 "測試活頁簿.xls",裡面有3個Sheet




3-1.1、寫一段讀取用的 script:
<!--- 建立並初始化POI物件 --->
<cfset POIobj = CreateObject("component","COM.POIUtility").Init() >

<!--- 取得我要測試的Excel檔案路徑. --->
<cfset myFile = ExpandPath( "./測試活頁簿.xls" ) >

<!--- 測試一:透過POI物件讀取Excel檔案,並指定此excel檔案有標題列(第一行) --->
<cfset myExcel = POIobj.ReadExcel(FilePath = myFile,HasHeaderRow = true) >

<!--- 傾印出內容 --->
<cfdump var="#myExcel#">

3-1.2、顯示結果:




3-2、測試二:單獨讀取檔案中第二個Sheet資料
利用3-1的EXCEL檔案

3-2.1、寫一段讀取用的 script:
<!--- 建立並初始化POI物件 --->
<cfset POIobj = CreateObject("component","COM.POIUtility").Init() >

<!--- 取得我要測試的Excel檔案路徑. --->
<cfset myFile = ExpandPath( "./測試活頁簿.xls" ) >

<!---測試二:透過POI物件讀取Excel檔案,指定此excel檔案有標題列,並指定讀取第二Sheet表
(SheetIndex索引從0開始) --->
<cfset mySheet = POIobj.ReadExcel(FilePath = myFile,HasHeaderRow = true,SheetIndex = 1) >

<!--- 傾印出內容 --->
<cfdump var="#mySheet#">

3-2.2、顯示結果:



4、寫入測試:把3-1讀取出的檔案寫到另一個檔案去
<!--- 建立並初始化POI物件 --->
<cfset POIobj = CreateObject("component","COM.POIUtility").Init() >

<!--- 取得我要測試的Excel檔案路徑. --->
<cfset myFile = ExpandPath( "./測試活頁簿.xls" ) >

<!--- 測試一:透過POI物件讀取Excel檔案,並指定此excel檔案有標題列(第一行) --->
<cfset myExcel = POIobj.ReadExcel(FilePath = myFile,HasHeaderRow = true) >

<!--- 建立一個儲存用的陣列 --->
<cfset mySheets = ArrayNew( 1 ) >

<!--- 利用POI元件建立Sheet結構,再將讀取的Excel檔案,逐個Sheet填入,
並且重新變更Sheet名稱,與欄位名稱,
這裡要注意的是,Query陣列起始是1不是0(呼叫底層Java元件才要用0)--->
<cfset mySheets[ 1 ] = POIobj.GetNewSheetStruct() >
<cfset mySheets[ 1 ].Query = myExcel[ 1 ].Query >
<cfset mySheets[ 1 ].SheetName = "材料" >
<cfset mySheets[ 1 ].ColumnList = "column1,column2,column3" >
<cfset mySheets[ 1 ].ColumnNames = "料別,菜式,費用" >

<!--- 設定第二Sheet --->
<cfset mySheets[ 2 ] = POIobj.GetNewSheetStruct() >
<cfset mySheets[ 2 ].Query = myExcel[ 2 ].Query >
<cfset mySheets[ 2 ].SheetName = "廚師團" >
<cfset mySheets[ 2 ].ColumnList = "column1,column2,column3,column4" >
<cfset mySheets[ 2 ].ColumnNames = "name,gender,job,payments" >

<!--- 設定第三Sheet --->
<cfset mySheets[ 3 ] = POIobj.GetNewSheetStruct() >
<cfset mySheets[ 3 ].Query = myExcel[ 3 ].Query >
<cfset mySheets[ 3 ].SheetName = "月收入" >
<cfset mySheets[ 3 ].ColumnList = "column1,column2,column3,column4" >
<cfset mySheets[ 3 ].ColumnNames = "month,desk,套餐,營收" >

<!--- 把新作陣列(POI結構化)存到新的Excel檔案去 --->
<cfset POIobj.WriteExcel(FilePath = ExpandPath("./新活頁簿.xls"),Sheets = mySheets) >

4.1、輸出檔案結果:





整個測試結果都很正常,表示這些元件都可用,這下終於可以好好處理客戶的 EXCEL 了。


2014年5月13日 星期二

Coldfusion 對 query 語句生成

一般的 query 查詢方式

<cfquery name="QryName" DataSource="ConnecttionName">
SELECT field-A,field-B
FROM TableName
WHERE strfield = '#sdata#'
AND numfield = #ndata#
AND dtmfield = #parseDatetime(dtdata)#
</cfquery>

上面是純粹帶『查詢資料』進去 Query 語句時所使用的方式,SQL語句屬於固定類的,
但若你把它改成動態語句:

<cfset qs = "strfield = '#sdata#' AND numfield = #ndata# AND dtmfield = #parseDatetime(dtdata)#">
<cfquery name="QryName" DataSource="ConnecttionName">
SELECT field-A,field-B
FROM TableName
WHERE #qs#
</cfquery>

這個語句絕對會失敗的,
因為 Coldfusion 為了防止 SQL injection 所以會對 生成 SQL語句的變數裡 ' single-quotation 產生escape 字元,導致生成了不是你想像中的語句。

正確的作法,如果你希望使用動態語句生成,那就是加個指令要求ColdFusion不要去處理 single-quotation 問題即可解決:

<cfset qs = "strfield = '#sdata#' AND numfield = #ndata# AND dtmfield = #parseDatetime(dtdata)#">
<cfquery name="QryName" DataSource="ConnecttionName">
SELECT field-A,field-B
FROM TableName
WHERE #PreserveSingleQuotes(qs)#
</cfquery>

2014年5月12日 星期一

Coldfusion 來自不同資料庫的join作法

Coldfusion server 提供了許多資料庫的Native Connection方式,或是Jconnect的方式,在我認為效率總是比ODBC好多了,所以我寫的網頁常常遊走在不同資料庫上,我最常用的資料庫不外乎Sybase ASE 與 MS SQL (或是更早的MSDE)這兩種資料庫,所以需要用到兩種BD來源的Table需要Join的問題:

這技術需要用到 inMemory Query 的作法就可以達成

首先從各資料庫先取出需要 join 的資料(可以盡量使用篩選過的,減少記憶體用量)

<cfquery name="emp" datasource="SYB_CONN">
SELECT empl_no,empl_name,title_no
FROM rmployee WHERE depart_no = 'sales'
</cfquery>
<cftransaction action="commit" />

<cfquery name="ttl" datasource="MSSQL_CONN">
SELECT title_no,title_name
FROM outsider_title WHERE title_kind = 'S'
</cfquery>
<cftransaction action="commit" />

Join 兩邊的資料源

<cfquery name="emptlo" dbtype="query">
SELECT a.empl_name,b.title_name
FROM emp a, ttl b
WHERE a.title_no = b.title_no
</cfquery>

輸出測試

<cfloop query="emptlo">
<cfoutput>#empl_name# , #title_name# <br /></cfoutput>
</cfloop>

簡單吧!

2014年5月9日 星期五

jQuery設定/變更select物件預設值的方法

寫網頁服務最討厭的一件事就是:各種瀏覽器的DOM生成方式不同,導致認為可以的反應卻沒預期發生...

就說 HTML 裡面的 select 這個物件吧

<select id="SelectID">
  <option value="A" selected="selected">單位A</option>
  <option value="B">單位B</option>
  <option value="C">單位C</option>
</select>

當我想要設定 select 預設值時,可以用下面幾種方式:

$('#SelectID')[0].selectedIndex = 1; //選取第二個欄位 單位B (索引從0開始)
$('#SelectID').get(0).selectedIndex = 1; //效果同上
$('#SelectID').val(selectedValue); //selectedValue是變數,裡面是select option其中一個的value值
$('#SelectID').val('B') //選擇第二欄位,效果同上
$('#SelectID option').filter('[value="'+selectedValue+'"]').attr("selected",true); //filter選項後設定屬性
想要取得其選擇值時可以用:

var dataValue = $('#SelectID').val();  //取得被選項目的value
var dataValue = $('#SelectID').find('option:selected').val(); //效果同上,問題比較少
var dataText = $('#SelectID').find('option:selected').html(); //取得被選項目的文字描述部分

常常遇到某些版本瀏覽器沒有反應,所以就選擇其中有效的試試看吧

2014年5月8日 星期四

用VBscript定時刪除暫存檔案

有很多時候系統因為查詢的關係會產生很多暫存檔案,然而若是系統本身沒有暫存檔管理功能的話,漸漸的暫存檔就會消耗硬碟空間,嚴重的話會導致作業系統空間不足而將服務給停止,因此定期刪除這些暫存檔案的技巧是管理的基本常識
所以寫一隻可以幫忙有條件清除的程序是很重要的。

檔案:Time2Delete.vbs
內容:
' 指定所有變數必須事先宣告才能使用
Option Explicit

'WScript.Echo("作業開始執行:" & Date & " " & Time)

' 宣告變數
Dim FSO, agoMins, modifiedDate, delFolder

' 請將下面的變數值換成你要的
' == 開始 ==
' 指定 n 分鐘前的檔案,現在是 15 分前
agoMins = 15
' 欲刪除檔案所在之目錄
delFolder = "C:\inetpub\wwwroot\tempfile"
' == 結束 ==

' 建立檔案系統物件(File System Object)
Set FSO = CreateObject("Scripting.FileSystemObject")

' 取得檔案的修改時間
modifiedDate = DateAdd("n", -agoMins, Date)

' 呼叫刪除檔案的子程序
DelFilesInFolder FSO.GetFolder(delFolder)

' 刪除檔案的子程序
Sub DelFilesInFolder(folder)
 ' 宣告變數
 Dim file, subFolder

 ' 找出目前所在目錄內所有的檔案
 For Each file In folder.Files
  ' 檢查檔案日期是否符合條件,若符合,就刪除
  If ((file.DateLastModified <= modifiedDate)) Then
   'normal=0,readonly=1,hideen=2,system=4,Volume=8,Directory=16,Archive=32,Alias=64,Compressed=2048 
   If (file.attributes <> 1) then
    file.delete
   End If
  End If
 Next

 ' 如果遇到子目錄,也要進去檢查並刪除
 For Each subFolder in folder.SubFolders
  DelFilesInFolder subFolder
 Next
End Sub

'WScript.Echo("作業執行完畢:" & Date & " " & Time)


最後只要放在系統排程內,每15到30分鐘執行一次就OK啦!!

2014年5月7日 星期三

用VBscript取得每一層資料夾底下的儲存容量

檔案:CheckSpaceUsed.vbs
內容:
' 指定所有變數必須事先宣告才能使用
Option Explicit

'WScript.Echo("作業開始執行:" & Date & " " & Time)

' 宣告變數
Dim FSO, chkFolder, vbcrlf, logf

' == 開始 ==
vbcrlf = chrB(13) & chrB(10)

' 檔案所在之目錄
chkFolder = "C:\FTPROOT\UPLOAD"

' 建立檔案系統物件(File System Object)
Set FSO = CreateObject("Scripting.FileSystemObject")
' 建立紀錄檔案
Set logf = FSO.CreateTextFile("Csize.csv", True)

' 取得目錄層所有的資料夾,目錄層下的檔案不處理
FatchFolder FSO.GetFolder(chkFolder)

'關閉記錄檔
logf.Close

'取得清單子程序
Sub FatchFolder(path1)
 Dim fid, xsize, bs, axx
 '找出主資料夾下的資料夾清單
 For Each fid In path1.SubFolders
  bs = "B"
  ' 呼叫統計檔案大小的子程序
  xsize = CalFilesInFolder(fid)

  axx = fid.name & "," & Cstr(xsize)
  
  '計算 BYTE單位(最多到MB即可)
  If(xsize > 1024)then
   xsize = CLng(xsize / 1024)
   bs = "KB"
  End If
  If(xsize > 1024)then
   xsize = CLng(xsize / 1024)
   bs = "MB"
  End If
   
  '寫入紀錄檔
  logf.WriteLine(axx & "," & xsize & bs)
  
  '顯示在console畫面 
  WScript.Echo fid.name & " = " & xsize & bs
 
 Next
End Sub

' 統計檔案的子程序
Function CalFilesInFolder(folder)
 ' 宣告變數
 Dim file, subFolder,fsize,tfsize,dsize
 
 tfsize = 0
 dsize = 0
 ' 找出目前所在目錄內所有的檔案,並加總其大小
 For Each file In folder.Files
  fsize = file.Size
  tfsize = tfsize + fsize
 Next

 ' 如果遇到子目錄,也要進去檢查並計算
 For Each subFolder in folder.SubFolders
  dsize = dsize + CalFilesInFolder(subFolder)
 Next
 '合計本路徑下檔案大小與子資料夾內的大小並回傳
 CalFilesInFolder = tfsize + dsize
End Function

' == 結束 ==
'WScript.Echo("作業執行完畢:" & Date & " " & Time)

這是用來統計FTP使用者代號下每個人使用的空間,雖然都有劃分空間使用限制,但是可以用一個簡單程序稍微計算一下還是比較方便的,這個程序就使用VBS寫好,放在系統排程下每周執行一次,可以產生Csize.csv,然後用EXCEL來檢視,方便多了。