    001/*
    002 * Copyright (c) 2009 The openGion Project.
    003 *
    004 * Licensed under the Apache License, Version 2.0 (the "License");
    005 * you may not use this file except in compliance with the License.
    006 * You may obtain a copy of the License at
    007 *
    008 *     http://www.apache.org/licenses/LICENSE-2.0
    009 *
    010 * Unless required by applicable law or agreed to in writing, software
    011 * distributed under the License is distributed on an "AS IS" BASIS,
    012 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND,
    013 * either express or implied. See the License for the specific language
    014 * governing permissions and limitations under the License.
    015 */
    016package org.opengion.hayabusa.taglib;
    017
    018import org.opengion.hayabusa.common.HybsSystem;
    019import org.opengion.hayabusa.common.HybsSystemException;
    020import org.opengion.hayabusa.resource.ResourceManager;
    021import org.opengion.hayabusa.resource.GUIInfo;
    022import org.opengion.hayabusa.db.DBColumn;
    023import org.opengion.hayabusa.io.HybsFileOperationFactory;
    024import org.opengion.fukurou.db.Transaction;
    025import org.opengion.fukurou.db.TransactionReal;
    026import org.opengion.fukurou.util.FileUtil;
    027import org.opengion.fukurou.util.ErrorMessage;
    028import org.opengion.fukurou.util.StringUtil;
    029import org.opengion.fukurou.util.Closer ;
    030import org.opengion.fukurou.model.Formatter;
    031import org.opengion.fukurou.model.ArrayDataModel;
    032
    033import static org.opengion.fukurou.util.StringUtil.nval ;
    034
    035import java.sql.Connection;
    036import java.sql.PreparedStatement;
    037import java.sql.SQLException;
    038
    039import java.io.File;
    040import java.io.BufferedReader;
    041import java.io.IOException;
    042
    043/**
    044 * 指定のファイルを直接データベースに登録するデータ入力タグです。
    045 *
    046 * 通常の readTable などは、DBTableModelオブジェクトを介して全件メモリに
    047 * ロードしてから表示させる為、大量データ処理ができません。
    048 * このタグでは、直接ファイルを読み取りながらデータベース登録するので
    049 * 大量データをバッチ的に登録する場合に使用します。
    050 *
    051 * 読み取るファイルは、先頭(または実データが現れるまでに) #NAME 行が必要です。
    052 * これは、ファイルデータのカラム名を指定しています。また、columns 属性を使用すれば、
    053 * ファイルの#NAME 行より優先して(つまり存在していなくても良い)データのカラム名を
    054 * 指定することが出来ます。
    055 * この#NAME 行は、ファイルのセパレータと無関係に必ずタブ区切りで用意されています。
    056 * タグのBODY部に、実行するSQL文を記述します。
    057 * このSQL文は、
    058 * INSERT INTO GE41 (CLM,NAME_JA,SYSTEM_ID,FGJ,DYSET)
    059 * VALUES ([CLM],[NAME_JA],[SYSTEM_ID],'1','{&#064;USER.YMDH}')
    060 * と、いう感じで、ファイルから読み込んだ値は、[カラム名]に割り当てられます。
    061 * もちろん、通常の固定値(FGJに'1'をセット)や、リクエスト変数(DYSETの{&#064;USER.YMDH})
    062 * なども使用できます。
    063 *
    064 * ※ このタグは、Transaction タグの対象です。
    065 *
    066 * @og.formSample
    067 * ●形式：&lt;og:directTableInsert filename="[･･･]" ･･･ &gt;INSERT INTO ･･･ &lt;/og:directTableInsert &gt;
    068 * ●body：あり(EVAL_BODY_BUFFERED:BODYを評価し、{&#064;XXXX} を解析します)
    069 *
    070 * ●Tag定義：
    071 *   &lt;og:directTableInsert
    072 *       fileURL            【TAG】読み取り元ディレクトリ名を指定します (初期値:FILE_URL[=filetemp/])
    073 *       filename           【TAG】ファイルを作成するときのファイル名をセットします (初期値:FILE_FILENAME[=file.xls])
    074 *       encode             【TAG】ファイルを作成するときのファイルエンコーディング名をセットします (初期値:FILE_ENCODE[=UnicodeLittle])
    075 *       separator          【TAG】可変長ファイルを作成するときの項目区切り文字をセットします(初期値:タブ)
    076 *       displayMsg         【TAG】query の結果を画面上に表示するメッセージIDを指定します(初期値:MSG0040[　件登録しました])
    077 *       columns            【TAG】#NAME 属性の代わりとなるファイルのカラム名を CSV形式で指定します
    078 *       commitBatch        【TAG】指定数毎にコミットを発行します(初期値:0 終了までコミットしません)
    079 *       useColumnAdjust    【TAG】カラム変換(DBType変換)を行うかどうかを設定します(初期値:false)
    080 *       useColumnCheck     【TAG】カラムチェック(DBTypeチェック)を行うかどうかを設定します(初期値:false)
    081 *       nullCheck          【TAG】NULL チェックすべきカラム列をカンマ区切り(CSV形式)で指定します
    082 *       dbid               【TAG】(通常は使いません)検索時のDB接続IDを指定します(初期値:DEFAULT)
    083 *       skipRowCount       【TAG】データの読み飛ばし件数を設定します(初期値:0)
    084 *       stopZero           【TAG】検索結果が０件のとき処理を続行するかどうか[true/false]を指定します(初期値:false[続行する])
    085 *       storageType            【TAG】読み取り元ストレージタイプを指定します。
    086 *       bucketName                     【TAG】読み取り元バケット名を指定します。
    087 *       debug              【TAG】デバッグ情報を出力するかどうか[true/false]を指定します(初期値:false)
    088 *   &gt;   ... Body ...
    089 *   &lt;/og:directTableInsert&gt;
    090 *
    091 * ●使用例
    092 *     &lt;og:directTableInsert
    093 *         dbid         = "ORCL"                接続データベースID(初期値:DEFAULT)
    094 *         separator    = ","                   ファイルの区切り文字(初期値:タブ)
    095 *         fileURL      = "{&#064;USER.ID}"     読み取り元ディレクトリ名
    096 *         filename     = "{&#064;filename}"    読み取り元ファイル名
    097 *         encode       = "Shift_JIS"           読み取り元ファイルエンコード名
    098 *         displayMsg   = "MSG0040"             登録完了後のメッセージ
    099 *         columns      = "CLM,NAME_JA,LABEL_NAME,KBSAKU,SYSTEM_ID,LANG"
    100 *                                              #NAME の代わりに使用するカラム列名
    101 *         commitBatch  = "100"                 この件数ずつコミットを発行(初期値:無制限)
    102 *         useColumnCheck  = "true"             カラムチェックを行うかどうか(初期値:false)
    103 *         useColumnAdjust = "true"             カラム変換を行うかどうか(初期値:false)
    104 *         nullCheck       = "CLM,SYSTEM_ID"    NULLチェックを実行します。
    105 *         storageType     = "aws"              読み取り元ストレージタイプ(初期値:CLOUD_STORAGE)
    106 *         bucketName       = "mybucket001"       読み取り元バケット名(初期値:CLOUD_BUCKET)
    107 *     &gt;
    108 *          INSERT INTO GE41
    109 *              (CLM,NAME_JA,LABEL_NAME,KBSAKU,SYSTEM_ID,LANG,
    110 *                 FGJ,DYSET,DYUPD,USRSET,USRUPD,PGUPD)
    111 *          VALUES
    112 *              ([CLM],[NAME_JA],[LABEL_NAME],[KBSAKU],[SYSTEM_ID],[LANG],
    113 *                '1','{&#064;USER.YMDH}','{&#064;USER.YMDH}','{&#064;USER.ID}','{&#064;USER.ID}','{&#064;GUI.KEY}')
    114 *     &lt;/og:directTableInsert &gt;
    115 *
    116 * @og.rev 5.10.9.0 (2019/03/01) oota クラウドストレージ対応を追加。(Fileクラスを拡張)
    117 *
    118 * @og.group ファイル入力
    119 *
    120 * @version  4.0
    121 * @author   Kazuhiko Hasegawa
    122 * @since    JDK5.0,
    123 */
    124public class DirectTableInsertTag extends CommonTagSupport {
    125        //* このプログラムのVERSION文字列を設定します。   {@value} */
    126        private static final String VERSION = "5.7.6.2 (2014/05/16)" ;
    127
    128        private static final long serialVersionUID = 576220140516L ;
    129
    130        private static final String TAB_SEPARATOR = "\t" ;
    131
    132        // 4.0.0.0 (2007/10/10) dbid の初期値を、"DEFAULT" から null に変更
    133        private String          dbid            = null;
    134        private String          separator       = TAB_SEPARATOR;   // 項目区切り文字
    135        private String          fileURL         = HybsSystem.sys( "FILE_URL" );                 // 4.0.0 (2005/01/31)
    136        private String          filename        = HybsSystem.sys( "FILE_FILENAME" );    // ファイル名
    137        private String          encode          = HybsSystem.sys( "FILE_ENCODE"   );    // ファイルエンコーディング  "JISAutoDetect" ,"JIS", "EUC_JP", "MS932", "SJIS" , "Windows-31J" , "Shift_JIS"
    138        private String          displayMsg      = "MSG0040";    // 　件登録しました。
    139        private String[]        columns         = null;
    140        private String[]        clmKeys         = null;                 // SQL文の[カラム名]配列
    141        private String          sql                     = null;
    142        private int                     commitBatch     = 0;                    // コミットするまとめ件数
    143        private boolean         useColumnCheck  = false;        // 3.6.0.2 (2004/10/04)
    144        private boolean         useColumnAdjust = false;        // 3.6.0.2 (2004/10/04)
    145        private String[]        nullCheck       = null;                 // 3.8.0.2 (2005/06/30) nullチェック確認
    146        private long            dyStart         = 0;                    // 実行時間測定用のDIV要素を出力します。
    147        private int                     skipRowCount= 0;                        // 5.5.7.1 (2012/10/01)
    148        private boolean         stopZero        = false;                // 5.7.6.2 (2014/05/16) stopZero属性追加
    149        private String          storageType     = null;                 // 5.10.9.0 (2019/03/01) ADD
    150        private String          bucketName      = null;                 // 5.10.9.0 (2019/03/01) ADD
    151
    152        /**
    153         * Taglibの開始タグが見つかったときに処理する doStartTag() を オーバーライドします。
    154         *
    155         * @return      後続処理の指示( EVAL_BODY_BUFFERED )
    156         */
    157        @Override
    158        public int doStartTag() {
    159                dyStart = System.currentTimeMillis();           // 時間測定用
    160                return EVAL_BODY_BUFFERED ;     // Body を評価する。( extends BodyTagSupport 時)
    161        }
    162
    163        /**
    164         * Taglibのタグ本体を処理する doAfterBody() を オーバーライドします。
    165         *
    166         * @og.rev 3.6.0.2 (2004/10/04) SQL文の [カラム] 対応とパーサー機能追加
    167         * @og.rev 3.8.6.3 (2006/11/30) SQL 文の前後のスペースを取り除きます。
    168         *
    169         * @return      後続処理の指示(SKIP_BODY)
    170         */
    171        @Override
    172        public int doAfterBody() {
    173                sql = getBodyString();
    174                if( sql == null || sql.length() == 0 ) {
    175                        String errMsg = "BODY 部の登録用 Insert/Update文は、必須です。";
    176                        throw new HybsSystemException( errMsg );
    177                }
    178
    179                return SKIP_BODY ;                              // Body を評価しない
    180        }
    181
    182        /**
    183         * Taglibの終了タグが見つかったときに処理する doEndTag() を オーバーライドします。
    184         *
    185         * @og.rev 4.0.0.0 (2007/10/18) メッセージリソース統合( getResource().getMessage ⇒ getResource().getLabel )
    186         * @og.rev 5.7.0.3 (2013/11/22) BufferedReaderのcloseをcreate内で行うように変更
    187         * @og.rev 5.7.6.2 (2014/05/16) stopZero属性、DB.COUNT キーで検索件数をリクエストにセットする。
    188         *
    189         * @return      後続処理の指示
    190         */
    191        @Override
    192        public int doEndTag() {
    193                debugPrint();           // 4.0.0 (2005/02/28)
    194
    195                BufferedReader pw = getBufferedReader();
    196                int executeCount = create( pw );
    197
    198                // 実行件数の表示
    199                // 4.0.0 (2005/11/30) 出力順の変更。一番最初に出力します。
    200                if( displayMsg != null && displayMsg.length() > 0 ) {
    201                        String status = executeCount + getResource().getLabel( displayMsg ) ;
    202                        jspPrint( status + HybsSystem.BR );
    203                }
    204
    205                // 5.7.6.2 (2014/05/16) 検索結果の件数を、"DB.COUNT" キーでリクエストにセットする。
    206                setRequestAttribute( "DB.COUNT" , String.valueOf( executeCount ) );
    207
    208                // 5.7.6.2 (2014/05/16) 件数０件かつ stopZero = true
    209                if( executeCount == 0 && stopZero ) { return SKIP_PAGE; }
    210
    211                // 時間測定用の DIV 要素を出力
    212                long dyTime = System.currentTimeMillis()-dyStart;
    213                jspPrint( "<div id=\"queryTime\" value=\"" + (dyTime) + "\"></div>" );      // 3.5.6.3 (2004/07/12)
    214
    215                // 4.0.0 (2005/01/31) セキュリティチェック(データアクセス件数登録)
    216                GUIInfo guiInfo = (GUIInfo)getSessionAttribute( HybsSystem.GUIINFO_KEY );
    217                if( guiInfo != null ) { guiInfo.addWriteCount( executeCount,dyTime,sql ); }
    218
    219                return EVAL_PAGE ;
    220        }
    221
    222        /**
    223         * タグリブオブジェクトをリリースします。
    224         * キャッシュされて再利用されるので、フィールドの初期設定を行います。
    225         *
    226         * @og.rev 3.6.0.2 (2004/10/04) useColumnCheck,useColumnAdjust 属性追加
    227         * @og.rev 3.8.0.2 (2005/06/30) nullCheck 属性追加
    228         * @og.rev 4.0.0.0 (2007/10/10) dbid の初期値を、"DEFAULT" から null に変更
    229         * @og.rev 5.5.7.1 (2012/10/05) skipRowCount追加
    230         * @og.rev 5.7.6.2 (2014/05/16) stopZero属性追加
    231         * @og.rev 5.10.9.0 (2019/03/01) storageType,bucketName属性を追加
    232         *
    233         */
    234        @Override
    235        protected void release2() {
    236                super.release2();
    237                dbid                    = null;
    238                separator               = TAB_SEPARATOR;   // 項目区切り文字
    239                fileURL                 = HybsSystem.sys( "FILE_URL" );         // 4.0.0 (2005/01/31)
    240                filename                = HybsSystem.sys( "FILE_FILENAME"        );   // ファイル名
    241                encode                  = HybsSystem.sys( "FILE_ENCODE"          );   // ファイルエンコーディング  "JISAutoDetect" ,"JIS", "EUC_JP", "MS932", "SJIS" , "Windows-31J" , "Shift_JIS"
    242                displayMsg              = "MSG0040";    // 　件登録しました。
    243                columns                 = null;         // 3.5.4.5 (2004/01/23)
    244                useColumnCheck  = false;        // 3.6.0.2 (2004/10/04)
    245                useColumnAdjust = false;        // 3.6.0.2 (2004/10/04)
    246                nullCheck               = null;         // 3.8.0.2 (2005/06/30)
    247                skipRowCount    = 0;            // 5.5.7.1 (2012/10/05)
    248                stopZero                = false;        // 5.7.6.2 (2014/05/16) stopZero属性追加
    249                storageType             = null;         // 5.10.9.0 (2019/03/01)
    250                bucketName              = null;         // 5.10.9.0 (2019/03/01)
    251        }
    252
    253        /**
    254         * BufferedReader より読み込み、データベースに書き込みます。
    255         *
    256         * @og.rev 3.6.0.2 (2004/10/04) カラムオブジェクトのDBType属性の整合性チェック
    257         * @og.rev 3.8.0.2 (2005/06/30) nullチェック確認
    258         * @og.rev 3.8.5.1 (2006/05/08) 取込データが name 列より少ない場合の対応を追加
    259         * @og.rev 3.8.7.0 (2006/12/15) アクセスログ取得の為,ApplicationInfoオブジェクトを設定
    260         * @og.rev 4.0.0.0 (2005/01/31) CheckColumnDataクラス static 化、引数にResourceManager追加
    261         * @og.rev 4.0.0.1 (2007/12/03) try 〜 catch 〜 finally をきちんと行う。
    262         * @og.rev 5.1.9.0 (2010/08/01) Transaction 対応
    263         * @og.rev 5.2.2.0 (2010/11/01)) ""で囲われているデータに改行が入っていた場合の対応
    264         * @og.rev 5.3.7.0 (2011/07/01) TransactionReal の引数変更
    265         * @og.rev 5.3.8.0 (2011/08/01) pstmt.setObject で、useParamMetaData の判定を避けるため、pstmt.setString で代用(PostgreSQL対応)
    266         * @og.rev 5.5.7.1 (2012/10/05) omitFirstLine対応
    267         * @og.rev 5.7.0.3 (2013/11/22) BufferedReaderのclose処理をこのメソッド内のfinallyで行う
    268         *
    269         * @param   reader BufferedReaderオブジェクト
    270         *
    271         * @return  取り込み件数
    272         */
    273        private int create( final BufferedReader reader )  {
    274
    275                String[] names = readName( reader );    // ファイルのカラム名
    276                int   nameLen = names.length ;                  // 3.8.5.1 (2006/05/08) 追加
    277
    278                ArrayDataModel nmdata = new ArrayDataModel( names );
    279                Formatter format = new Formatter( nmdata );
    280                format.setFormat( sql.trim() );
    281                sql = format.getQueryFormatString();
    282                int[] clmNos = format.getClmNos();
    283                int   clmNosLen = clmNos.length ;
    284                clmKeys = format.getClmKeys();
    285
    286                CheckColumnData checkClass = new CheckColumnData( clmNos,clmKeys,getResource() );
    287
    288                ArrayDataModel nullData = new ArrayDataModel( names );
    289                int[] nullClmNos = nullData.getColumnNos( nullCheck );  // バインド変数のアドレス求め
    290
    291                // 3.8.0.2 (2005/06/30) nullチェック確認
    292                int   nullClmNosLen = nullClmNos.length ;
    293
    294                int    executeCount = 0;
    295                int    commitCount  = 0;
    296                char   sep  = separator.charAt(0);
    297                boolean errFlag  = true;
    298                Transaction tran = null;        // 5.1.9.0 (2010/08/01) Transaction 対応
    299                PreparedStatement pstmt = null ;
    300                String[] data   = null ;
    301                int skip = skipRowCount; // 5.5.7.1 (2012/10/05)
    302                try {
    303                        // 5.1.9.0 (2010/08/01) Transaction 対応
    304                        TransactionTag tranTag = (TransactionTag)findAncestorWithClass( this,TransactionTag.class );
    305                        if( tranTag == null ) {
    306                                tran = new TransactionReal( getApplicationInfo() );             // 5.3.7.0 (2011/07/01) 引数変更
    307                        }
    308                        else {
    309                                tran = tranTag.getTransaction();
    310                        }
    311
    312                        Connection conn = tran.getConnection( dbid );           // 5.1.9.0 (2010/08/01) Transaction 対応
    313                        pstmt = conn.prepareStatement( sql );
    314                        String line ;
    315                        while((line = reader.readLine()) != null) {
    316                                if( line.length() == 0 || line.charAt( 0 ) == '#' ) { continue; }
    317                                else if( skip > 0 ){ skip--; continue;} // 5.5.7.1 (2012/10/05)
    318                                else {
    319                                        // 5.2.2.0 (2010/11/01) ""で囲われているデータに改行が入っていた場合の対応
    320                                        int quotCount = StringUtil.countChar( line, '"' );
    321                                        if( quotCount % 2 != 0 ) {
    322                                                String addLine = null;
    323                                                StringBuilder buf = new StringBuilder( line );
    324                                                while(quotCount % 2 != 0 && (addLine = reader.readLine()) != null) {
    325                                                        if( line.length() == 0 || line.charAt( 0 ) == '#' ) { continue; }
    326                                                        buf.append( HybsSystem.CR ).append( addLine );
    327                                                        quotCount += StringUtil.countChar( addLine, '"' );
    328                                                }
    329                                                line = buf.toString();
    330                                        }
    331
    332                                        // 3.8.5.1 (2006/05/08) 取込データが name 列より少ない場合の対応を追加
    333                                        data = StringUtil.csv2Array( line , sep , nameLen );
    334
    335                                        // 3.6.0.2 (2004/10/04) カラム変換
    336                                        if( useColumnAdjust ) {
    337                                                data = checkClass.adjustData( data );
    338                                        }
    339
    340                                        // 3.6.0.2 (2004/10/04) カラムチェック
    341                                        if( useColumnCheck ) {
    342                                                ErrorMessage errMsg = checkClass.checkData( executeCount, data );
    343                                                if( !errMsg.isOK() ) {
    344                                                        tran.rollback();                        // 5.1.9.0 (2010/08/01) Transaction 対応
    345                                                        jspPrint( TaglibUtil.makeHTMLErrorTable( errMsg,getResource() ) );
    346                                                        return commitCount;
    347                                                }
    348                                        }
    349
    350                                        // 3.8.0.2 (2005/06/30) nullチェック確認
    351                                        if( nullClmNosLen > 0 ) {
    352                                                ErrorMessage errMsg = new ErrorMessage( "Null Check Columns Error!" );
    353
    354                                                for( int i=0; i<nullClmNosLen; i++ ) {
    355                                                        int clm = nullClmNos[i];
    356                                                        if( data[clm] == null || data[clm].length() == 0 ) {
    357                                                                String label = getResource().getLabel( nullCheck[i] );
    358                                                                // ERR0012 : 指定のデータがセットされていません。(NULLエラー)。key={0}
    359                                                                errMsg.addMessage( executeCount+1,ErrorMessage.NG,"ERR0012",label );
    360                                                        }
    361                                                }
    362                                                if( !errMsg.isOK() ) {
    363                                                        tran.rollback();                        // 5.1.9.0 (2010/08/01) Transaction 対応
    364                                                        jspPrint( TaglibUtil.makeHTMLErrorTable( errMsg,getResource() ) );
    365                                                        return commitCount;
    366                                                }
    367                                        }
    368
    369                                        for( int i=0; i<clmNosLen; i++ ) {
    370                                                String val = data[clmNos[i]];
    371                                                if( val != null && val.startsWith( "'0" ) ) {
    372                                                        val = val.substring( 1 );
    373                                                }
    374                                                pstmt.setString( i+1,val );
    375                                        }
    376
    377                                        pstmt.execute();
    378                                        if( commitBatch > 0 && ( executeCount%commitBatch == 0 ) ) {
    379                                                tran.commit();                  // 5.1.9.0 (2010/08/01) Transaction 対応
    380                                                commitCount = executeCount;
    381                                        }
    382                                        executeCount++ ;
    383                                }
    384                        }
    385                        tran.commit();                  // 5.1.9.0 (2010/08/01) Transaction 対応
    386                        commitCount = executeCount ;
    387                        errFlag = false;                // エラーではない
    388                }
    389                catch (IOException ex) {
    390                        String errMsg = "ファイル読込みエラー[" + reader.toString() + "]"
    391                                                + " 行番号=[" + executeCount +"]"
    392                                                + " 登録件数=[" + commitCount + "]"  ;
    393                        throw new HybsSystemException( errMsg,ex );
    394                }
    395                catch (SQLException ex) {
    396                        String errMsg = "sql=[" + sql + "]" + HybsSystem.CR
    397                                                +       "names=[" + StringUtil.array2csv( names ) + "]" + HybsSystem.CR
    398                                                +       "vals =[" + StringUtil.array2csv( data ) + "]" + HybsSystem.CR
    399                                                + " 行番号=[" + executeCount +"]"
    400                                                + " 登録件数=[" + commitCount + "]"  + HybsSystem.CR
    401                                                + " errorCode=[" + ex.getErrorCode() + "] State=[" +
    402                                                ex.getSQLState() + "]" + HybsSystem.CR ;
    403                        throw new HybsSystemException( errMsg,ex );
    404                }
    405                finally {
    406                        Closer.stmtClose( pstmt );
    407                        Closer.ioClose( reader );       // 5.7.0.3 (2013/11/22) finallyでcloseするように変更
    408                        if( tran != null ) {                            // 5.5.2.6 (2012/05/25) findbugs対応
    409                                tran.close( errFlag );                  // 5.1.9.0 (2010/08/01) Transaction 対応
    410                        }
    411                }
    412
    413                return commitCount;
    414        }
    415
    416        /**
    417         * BufferedReader より、#NAME 行の項目名情報を読み取ります。
    418         * データカラムより前に、項目名情報を示す "#Name" が存在する仮定で取り込みます。
    419         * この行は、ファイルの形式に無関係に、TAB で区切られています。
    420         * #NAME 配列の先頭(行番号にあたる個所)は、ROW_NO というキーを割り当てます。
    421         * columns が設定されている場合は、#NAME 行ではなく、columns を優先します。
    422         *
    423         * @og.rev 3.6.0.0 (2004/09/22) #NAME 行が見つからない場合は、エラーとします。
    424         * @og.rev 3.6.0.2 (2004/10/04) columns が設定されている場合は、それを返します。
    425         *
    426         * @param       reader PrintWriterオブジェクト
    427         *
    428         * @return      カラム名配列
    429         */
    430        private String[] readName( final BufferedReader reader ) {
    431                if( columns != null && columns.length > 0 ) {
    432                        return columns ;
    433                }
    434
    435                try {
    436                        String line;
    437                        while((line = reader.readLine()) != null) {
    438                                if( line.length() == 0 ) { continue; }
    439                                if( line.charAt(0) == '#' ) {
    440                                        if( line.length() >= 5 &&
    441                                                "#NAME".equalsIgnoreCase( line.substring( 0,5 ) ) ) {
    442                                                String[] rtn = StringUtil.csv2Array( line ,TAB_SEPARATOR.charAt(0) );
    443                                                rtn[0] = "ROW_NO";      // 先頭カラムにカラム名を与える。
    444                                                return rtn ;
    445                                        }
    446                                        else { continue; }
    447                                }
    448                                else {
    449                                        String errMsg = "#NAME が見つかる前にデータが見つかりました。" + HybsSystem.CR
    450                                                        + " LINE=" + line;                      // 5.1.8.0 (2010/07/01) errMsg 修正
    451                                        throw new HybsSystemException( errMsg );
    452                                }
    453                        }
    454                }
    455                catch (IOException ex) {
    456                        String errMsg = "ファイル読込みエラー[" + reader.toString() + "]"  ;
    457                        throw new HybsSystemException( errMsg,ex );
    458                }
    459
    460                String errMsg = "#NAME が見つかりませんでした。";
    461                throw new HybsSystemException( errMsg );
    462        }
    463
    464        /**
    465         * BufferedReader を取得します。
    466         *
    467         * ここでは、一般的なファイル出力を考慮した BufferedReader を作成します。
    468         *
    469         * @og.rev 5.10.9.0 (2019/03/01) クラウドストレージ対応
    470         *
    471         * @return      指定の読み取り用BufferedReaderオブジェクト
    472         */
    473        private BufferedReader getBufferedReader() {
    474                if( filename == null ) {
    475                        String errMsg = "ファイル名がセットされていません。";
    476                        throw new HybsSystemException( errMsg );
    477                }
    478                String directory = HybsSystem.url2dir( fileURL );
    479
    480                // 5.10.9.0 (2019/03/01) MODIFY
    481                // File file = new File( StringUtil.urlAppend( directory,filename ) );
    482                File file = HybsFileOperationFactory.create(storageType, bucketName, StringUtil.urlAppend( directory,filename ));
    483
    484                BufferedReader out = FileUtil.getBufferedReader( file,encode );
    485
    486                return out ;
    487        }
    488
    489        /**
    490         * 【TAG】(通常は使いません)検索時のDB接続IDを指定します(初期値:DEFAULT)。
    491         *
    492         * @og.tag
    493         *   検索時のDB接続IDを指定します。初期値は、DEFAULT です。
    494         *
    495         * @param       id データベース接続ID
    496         */
    497        public void setDbid( final String id ) {
    498                dbid = nval( getRequestParameter( id ),dbid );
    499        }
    500
    501        /**
    502         * 【TAG】可変長ファイルを作成するときの項目区切り文字をセットします(初期値:タブ)。
    503         *
    504         * @og.tag 可変長ファイルを作成するときの項目区切り文字をセットします。
    505         *
    506         * @param   separator 項目区切り文字
    507         */
    508        public void setSeparator( final String separator ) {
    509                this.separator = nval( getRequestParameter( separator ),this.separator );
    510        }
    511
    512        /**
    513         * 【TAG】読み取り元ディレクトリ名を指定します
    514         *              (初期値:FILE_URL[={@og.value org.opengion.hayabusa.common.SystemData#FILE_URL}])。
    515         *
    516         * @og.tag
    517         * この属性で指定されるディレクトリより、ファイルを読み取ります。
    518         * 指定方法は、通常の fileURL 属性と同様に、先頭が、'/' (UNIX) または、２文字目が、
    519         * ":" (Windows)の場合は、指定のURLそのままのディレクトリに、そうでない場合は、
    520         * fileURL = "{&#064;USER.ID}" と指定すると、FILE_URL 属性で指定のフォルダの下に、
    521         * さらに、各個人ID別のフォルダの下より、読み取ります。
    522         * (初期値:システム定数のFILE_URL[={@og.value org.opengion.hayabusa.common.SystemData#FILE_URL}])。
    523         *
    524         * @og.rev 4.0.0.0 (2005/01/31) StringUtil.urlAppend メソッドの利用
    525         * @og.rev 4.0.0.0 (2007/11/20) 指定されたディレクトリ名の最後が"\"or"/"で終わっていない場合に、"/"を付加する。
    526         *
    527         * @param       url ファイルURL
    528         * @see         org.opengion.hayabusa.common.SystemData#FILE_URL
    529         */
    530        public void setFileURL( final String url ) {
    531                String furl = nval( getRequestParameter( url ),null );
    532                if( furl != null ) {
    533                        char ch = furl.charAt( furl.length()-1 );
    534                        if( ch != '/' && ch != '\\' ) { furl = furl + "/"; }
    535                        fileURL = StringUtil.urlAppend( fileURL,furl );
    536                }
    537        }
    538
    539        /**
    540         * 【TAG】ファイルを作成するときのファイル名をセットします
    541         *              (初期値:FILE_FILENAME[={@og.value org.opengion.hayabusa.common.SystemData#FILE_FILENAME}])。
    542         *
    543         * @og.tag
    544         * ファイルを作成するときのファイル名をセットします。
    545         * (初期値:システム定数のFILE_FILENAME[={@og.value org.opengion.hayabusa.common.SystemData#FILE_FILENAME}])。
    546         *
    547         * @param   filename ファイル名
    548         * @see         org.opengion.hayabusa.common.SystemData#FILE_FILENAME
    549         */
    550        public void setFilename( final String filename ) {
    551                this.filename = nval( getRequestParameter( filename ),this.filename );
    552        }
    553
    554        /**
    555         * 【TAG】ファイルを作成するときのファイルエンコーディング名をセットします
    556         *              (初期値:FILE_ENCODE[={@og.value org.opengion.hayabusa.common.SystemData#FILE_ENCODE}])。
    557         *
    558         * @og.tag
    559         * 初期値は、システムパラメータ の FILE_ENCODE 属性で、設定しています。
    560         * Shift_JIS,MS932,Windows-31J,UTF-8,ISO-8859-1,UnicodeLittle･･･
    561         * (初期値:システム定数のFILE_ENCODE[={@og.value org.opengion.hayabusa.common.SystemData#FILE_ENCODE}])。
    562         *
    563         * @param   enc ファイルエンコーディング名
    564         * @see     <a href="http://www.iana.org/assignments/character-sets">IANA Charset Registry</a>
    565         * @see         org.opengion.hayabusa.common.SystemData#FILE_ENCODE
    566         */
    567        public void setEncode( final String enc ) {
    568                encode = nval( getRequestParameter( enc ),encode );
    569        }
    570
    571        /**
    572         * 【TAG】query の結果を画面上に表示するメッセージIDを指定します(初期値:MSG0040[　件登録しました])。
    573         *
    574         * @og.tag
    575         * ここでは、検索結果の件数や登録された件数をまず出力し、
    576         * その次に、ここで指定したメッセージをリソースから取得して
    577         * 表示します。
    578         * 表示させたくない場合は, displayMsg = "" をセットしてください。
    579         * 初期値は、検索件数を表示します。
    580         * ※ この属性には、リクエスト変数({&#064;XXXX})は使用できません。
    581         *
    582         * @param   id ディスプレイに表示させるメッセージ ID
    583         */
    584        public void setDisplayMsg( final String id ) {
    585                if( id != null ) { displayMsg = id; }
    586        }
    587
    588        /**
    589         * 【TAG】#NAME 属性の代わりとなるファイルのカラム名を CSV形式で指定します。
    590         *
    591         * @og.tag
    592         * データファイルの先頭行に、#NAME 行があり、読み取るべきファイルの
    593         * カラム名が記述されています。通常は、このカラム名を取り込んで、
    594         * 各データ列のカラムを指定します。
    595         * この属性は、ファイルに#NAME 行が存在しない(他システムからの入力ファイル等)
    596         * 場合に、#NAME 属性の代わりに、カラム名を外部より指定します。
    597         *
    598         * @og.rev 3.8.5.1 (2006/05/08) getCSVParameter の使用を中止
    599         *
    600         * @param   clms ファイルのカラム名(カンマ区切り文字)
    601         */
    602        public void setColumns( final String clms ) {
    603                columns = StringUtil.csv2Array( nval( getRequestParameter( clms ),null ),',' );
    604        }
    605
    606        /**
    607         * 【TAG】指定数毎にコミットを発行します(初期値:0 終了までコミットしません)。
    608         *
    609         * @og.tag
    610         * 通常は、全ての処理が正常に終了するか、なにもしないか(トランザクション)
    611         * を判断すべきで、途中でのコミットはしません。
    612         * しかし、場合によって、件数が異常に多い場合や、再実行可能な場合は、
    613         * 途中でコミットして、都度、処理できるものだけを処理してしまうという方法があります。
    614         * また、ロールバックエリアの関係などで、データ量が多い場合に、処理時間が異常に
    615         * 長くなる事があり、指定件数ごとのコミット機能を用意しています。
    616         * 0 に設定すると、終了までコミットしません。初期値は、0 です。
    617         *
    618         * @param   cmtBat 指定数毎にコミットを発行(初期値:0)
    619         */
    620        public void setCommitBatch( final String cmtBat ) {
    621                commitBatch = nval( getRequestParameter( cmtBat ),commitBatch );
    622        }
    623
    624        /**
    625         * 【TAG】カラムチェック(DBTypeチェック)を行うかどうかを設定します(初期値:false)。
    626         *
    627         * @og.tag
    628         * カラムの整合性チェックを行う場合、この属性を設定(true)します。
    629         * 初期値は、行わない(false)です。
    630         * チェックするカラムは、#NAME や columns で指定されたカラムではなく、
    631         * BODY部のSQL文で指定されたカラム名( [カラム名] )です。これは、直接、SQL文中に
    632         * 記述している値や、{&#064;XXXX}文字等は、チェック出来ない為です。
    633         *
    634         * @og.rev 3.6.0.2 (2004/10/04) 新規追加 取り込み時全チェック
    635         *
    636         * @param   flag チェックを行うかどうか(true:行う/false:行わない)
    637         * @see     #setUseColumnAdjust( String )
    638         */
    639        public void setUseColumnCheck( final String flag ) {
    640                useColumnCheck = nval( getRequestParameter( flag ),useColumnCheck );
    641        }
    642
    643        /**
    644         * 【TAG】カラム変換(DBType変換)を行うかどうかを設定します(初期値:false)。
    645         *
    646         * @og.tag
    647         * カラムの変換を行う場合、この属性を設定(true)します。
    648         * 初期値は、行わない(false)です。
    649         * 変換するカラムは、#NAME や columns で指定されたカラムではなく、
    650         * BODY部のSQL文で指定されたカラム名[カラム名]です。これは、直接、SQL文中に
    651         * 記述している値や、{&#064;XXXX}文字等は、変換出来ない為です。
    652         *
    653         * @og.rev 3.6.0.2 (2004/10/04) 新規追加 取り込み時変換
    654         *
    655         * @param   flag 変換を行うかどうか(true:行う/false:行わない)
    656         * @see     #setUseColumnCheck( String )
    657         */
    658        public void setUseColumnAdjust( final String flag ) {
    659                useColumnAdjust = nval( getRequestParameter( flag ),useColumnAdjust );
    660        }
    661
    662        /**
    663         * 【TAG】NULL チェックすべきカラム列をカンマ区切り(CSV形式)で指定します。
    664         *
    665         * @og.tag nullCheck="AAA,BBB,CCC,DDD"
    666         * 分解方法は、通常のパラメータ取得後に、CSV分解します。
    667         *
    668         * @og.rev 3.8.0.2 (2005/06/30) 新規追加
    669         * @og.rev 3.8.8.5 (2007/03/09) 通常のパラメータ取得後に、CSV分解に戻します。
    670         *
    671         * @param   clms カラム列(CSV形式)
    672         */
    673        public void setNullCheck( final String clms ) {
    674                nullCheck = StringUtil.csv2Array( getRequestParameter( clms ) );
    675                if( nullCheck.length == 0 ) { nullCheck = null; }
    676        }
    677
    678        /**
    679         * 【TAG】取り込み時に除外する行を指定します(初期値:0)。
    680         *
    681         * @og.tag
    682         * TAB区切りテキストやEXCEL等のデータの読み始めの初期値を指定します。
    683         * ファイルの先頭行が、０行としてカウントしますので、設定値は、読み飛ばす
    684         * 件数になります。(１と指定すると、１件読み飛ばし、２行目から読み込みます。)
    685         * 読み飛ばしは、コメント行などは、無視しますので、実際の行数分読み飛ばします。
    686         * ＃NAME属性や、columns 属性は、有効です。
    687         *
    688         * @og.rev 5.5.7.1 (2012/10/05) 新規追加
    689         *
    690         * @param   count 先頭行を無視するかどうか(true:無視する/false:無視しない)
    691         */
    692        public void setSkipRowCount( final String count ) {
    693                skipRowCount = nval( getRequestParameter( count ),skipRowCount );
    694        }
    695
    696        /**
    697         * 【TAG】検索結果が０件のとき処理を続行するかどうか[true/false]を指定します(初期値:false[続行する])。
    698         *
    699         * @og.tag
    700         * 初期値は、false(続行する)です。
    701         *
    702         * @og.rev 5.7.6.2 (2014/05/16) 新規追加
    703         *
    704         * @param  cmd 検索結果が０件のとき、[true:処理を中止する/false:続行する]
    705         */
    706        public void setStopZero( final String cmd ) {
    707                stopZero = nval( getRequestParameter( cmd ),stopZero );
    708        }
    709
    710        /**
    711         * カラム変換、カラムチェックを行う内部クラス
    712         *
    713         * @og.rev 4.0.0.0 (2005/01/31) static クラス化、引数にResourceManager追加
    714         * @og.group ファイル入力
    715         *
    716         * @version  4.0
    717         * @author   Kazuhiko Hasegawa
    718         * @since    JDK5.0,
    719         */
    720        static class CheckColumnData {
    721                private final DBColumn[] dbClm    ;
    722                private final int[]      clmChkNo ;
    723                private final int        len      ;             // 長さ０の時は、なにもしない。
    724                private final ErrorMessage errMsg = new ErrorMessage( "Check Columns Error!" );
    725
    726                /**
    727                 * コンストラクター
    728                 *
    729                 * @param       clmNo   カラム番号配列
    730                 * @param chkClm String[]
    731                 * @param resource ResourceManager
    732                 */
    733                CheckColumnData( final int[] clmNo, final String[] chkClm,final ResourceManager resource ) {
    734                        if( clmNo  == null || clmNo.length  == 0 ||
    735                                chkClm == null || chkClm.length == 0 ) { // return; }   // 何もしない
    736
    737                                dbClm    = null;
    738                                clmChkNo = null;
    739                                len      = 0;
    740                        }
    741                        else {
    742                                clmChkNo = clmNo ;
    743                                len = clmNo.length ;
    744                                dbClm = new DBColumn[len];
    745                                for( int i=0; i<len; i++ ) {
    746                                        dbClm[i] = resource.makeDBColumn( chkClm[i] );  // 4.0.0 (2005/01/31)
    747                                }
    748                        }
    749                }
    750
    751                /**
    752                 * 引数のデータを DBColumn で正規化(valueSetメソッド経由)します。
    753                 *
    754                 * @param       data    １行分のデータ配列
    755                 * @return String[]
    756                 * @see org.opengion.hayabusa.db.DBColumn#valueSet( String )
    757                 */
    758                String[] adjustData( final String[] data ) {
    759                        if( len == 0 ) { return data; }
    760                        String[] ajstData = new String[len];
    761                        for( int i=0; i<len; i++ ) {
    762                                String val = data[clmChkNo[i]];
    763                                ajstData[i] = dbClm[i].valueSet( val );
    764                        }
    765                        return ajstData ;
    766                }
    767
    768                /**
    769                 * 引数のデータを DBColumn で正規化(valueSetメソッド経由)します。
    770                 *
    771                 * @param       row     行番号
    772                 * @param       data    １行分のデータ配列
    773                 * @return ErrorMessage
    774                 * @see org.opengion.hayabusa.db.DBColumn#valueSet( String )
    775                 */
    776                ErrorMessage checkData( final int row,final String[] data ) {
    777                        for( int i=0; i<len; i++ ) {
    778                                String val = data[clmChkNo[i]];
    779                                errMsg.append( row+1,dbClm[i].valueCheck( val ) );
    780                        }
    781                        return errMsg ;
    782                }
    783        }
    784
    785        /**
    786         * 【TAG】読み取り元ストレージタイプを設定します。
    787         *
    788         * @og.tag
    789         * ファイルを読み取り元の、ストレージタイプを設定します。
    790         * 未設定の場合は、システムリソースの「CLOUD_TARGET」が参照されます。
    791         * 自身のサーバを指定する場合は、「default」を設定してください。
    792         *
    793         * @og.rev 5.10.9.0 (2019/03/01) 新規追加
    794         *
    795         * @param storage 読み取り元ストレージタイプ
    796         */
    797        public void setStorageType( final String storage ) {
    798                storageType = nval( getRequestParameter( storage ), storageType );
    799        }
    800
    801        /**
    802         * 【TAG】読み取り元バケット名を設定します。
    803         *
    804         * @og.tag
    805         * ファイルを読み取り元の、バケット名を指定します。
    806         * クラウドストレージ利用時のみ有効です。
    807         * 未設定の場合は、システムリソースの「CLOUD_BUKET」が参照されます。
    808         *
    809         * @og.rev 5.10.9.0 (2019/03/01) 新規追加
    810         *
    811         * @param bucket 読み取り元バケット名
    812         */
    813        public void setBucketName( final String bucket ) {
    814                bucketName = nval( getRequestParameter( bucket ), bucketName );
    815        }
    816
    817        /**
    818         * このオブジェクトの文字列表現を返します。
    819         * 基本的にデバッグ目的に使用します。
    820         *
    821         * @og.rev 5.10.9.0 (2019/03/01) storageType, bucketNameを出力対象に追加。
    822         *
    823         * @return このクラスの文字列表現
    824         */
    825        @Override
    826        public String toString() {
    827                return org.opengion.fukurou.util.ToString.title( this.getClass().getName() )
    828                                .println( "VERSION"                     ,VERSION                )
    829                                .println( "dbid"                        ,dbid                   )
    830                                .println( "separator"           ,separator              )
    831                                .println( "fileURL"                     ,fileURL                )
    832                                .println( "filename"            ,filename               )
    833                                .println( "encode"                      ,encode                 )
    834                                .println( "displayMsg"          ,displayMsg             )
    835                                .println( "columns"                     ,columns                )
    836                                .println( "clmKeys"                     ,clmKeys                )
    837                                .println( "sql"                         ,sql                    )
    838                                .println( "commitBatch"         ,commitBatch    )
    839                                .println( "useColumnCheck"      ,useColumnCheck )
    840                                .println( "useColumnAdjust"     ,useColumnAdjust)
    841                                .println( "nullCheck"           ,nullCheck              )
    842                                .println( "dyStart"                     ,dyStart                )
    843                                .println( "storageType"         ,storageType    )
    844                                .println( "bucketName"          ,bucketName             )
    845                                .println( "Other..."            ,getAttributes().getAttribute() )
    846                                .fixForm().toString() ;
    847        }
    848}