Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

DBUnit #1437

Merged
merged 1 commit into from
Dec 4, 2024
Merged

DBUnit #1437

Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
157 changes: 157 additions & 0 deletions source/_posts/20241204a_DBUnitでいろいろはまった.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,157 @@
---
title: "DBUnitでいろいろはまった"
date: 2024/12/04 00:00:00
postid: a
tag:
- Java
- DBUnit
- テスト
category:
- Programming
thumbnail: /images/20241204a/thumbnail.jpg
author: 澁川喜規
lede: "Javaでデータベースを使うプロジェクトだったのでDBUnit使うぜ、と導入したのですが、細かいところで引っかかったりしたので備忘メモです。"
---
<img src="/images/20241204a/dbunit.jpg" alt="" width="500" height="300">

本ブログは、[ソフトウェアテスト - Qiita Advent Calendar 2024 - Qiita](https://qiita.com/advent-calendar/2024/softwaretesting) の4日目です。

3日目は、ぱいん (pinecandy)さんの[テストについて相談を受けたときにいつもしていること - 飴ブロ(仮](https://pineapplecandy.hatenadiary.jp/entry/test-talk-over)です。

Javaでデータベースを使うプロジェクトだったのでDBUnit使うぜ、と導入したのですが、細かいところで引っかかったりしたので備忘メモです。

# org.dbunit.database.AmbiguousTableNameException

このプロジェクトでは複数のスキーマがあり、一部重複したテーブル名があったため、このような例外が出ていました。共通スキーマsystemというのがあったとしたら、それを``JdbcDatabaseTester``に渡して設定します。

```java
databaseTester = new JdbcDatabaseTester(this.dataSourceDriver,
this.dataSourceUrl,
this.dataSourceUser,
this.dataSourcePassword,
"system"); // これ

IDataSet dataSet = new FlatXmlDataSetBuilder().build(
new File("src/test/resources/dbunit/fixture.xml"));
databaseTester.setDataSet(replacementDataSet);
databaseTester.setSetUpOperation(DatabaseOperation.CLEAN_INSERT);
databaseTester.onSetup();
```

# 複数のスキーマにデータを入れたい!

1つのデータを定義したけど、一部のデータは別のスキーマに入れたい、という場合です。取込は2回書くのですが、データセットをデータテスターに渡すときに、フィルターでラップしてから渡します。片方は``IncludeTableFilter``、もう片方は``ExcludeTableFilter``を使います。

雑にベタに書いたので、もしかしたらFlatXmlDataSetBuilderとかは

```java
var appOnlyTables = new String[] {
"t_work",
"t_log"};
databaseTesterApp = new JdbcDatabaseTester(this.dataSourceDriver,
this.dataSourceUrl,
this.dataSourceUser,
this.dataSourcePassword,
"app");
IDataSet dataSetApp = new FlatXmlDataSetBuilder().build(
new File("src/test/resources/dbunit/fixture.xml"));

// このフィルターでテーブルを選別
var dataFilterApp = new IncludeTableFilter(appOnlyTables);
var filterdDatasetApp = new FilteredDataSet(dataFilterApp, dataSetApp);

databaseTesterApp.setDataSet(filterdDatasetApp);
databaseTesterApp.setSetUpOperation(DatabaseOperation.CLEAN_INSERT);
databaseTesterApp.onSetup();

databaseTesterSys = new JdbcDatabaseTester(this.dataSourceDriver,
this.dataSourceUrl,
this.dataSourceUser,
this.dataSourcePassword,
"system");
IDataSet dataSetSys = new FlatXmlDataSetBuilder().build(
new File("src/test/resources/dbunit/fixture.xml"));

// このフィルターでテーブルを選別
var dataFilterSys = new ExcludeTableFilter(appOnlyTables);
var filterdDatasetSys = new FilteredDataSet(dataFilterSys, dataSetSys);

databaseTesterSys.setDataSet(filterdDatasetSys);
databaseTesterSys.setSetUpOperation(DatabaseOperation.CLEAN_INSERT);
databaseTesterSys.onSetup();
```

# NULLを表現したい!

DBUnit標準だと、読み込んだとおりに文字列で解釈しますので、空文字列だと空文字列。NULLとか書くと"NULL"という文字列になります。データセットを置換するラッパーを使い、特定のテキストをオブジェクトに変換するラッパーを作成してデータセットにかぶせることで、nullが表現できます。

```java
IDataSet dataSet = new FlatXmlDataSetBuilder().build(
new File("src/test/resources/dbunit/fixture.xml"));

// このフィルターで変換
var replacementDataSet = new ReplacementDataSet(dataSet);
replacementDataSet.addReplacementObject("[NULL]", null);

databaseTesterSys.setDataSet(replacementDataSet);
databaseTesterSys.setSetUpOperation(DatabaseOperation.CLEAN_INSERT);
databaseTesterSys.onSetup();
```

# WindowsとLinuxのフォルダを吸収したい

データベースのログテーブルには処理したファイル名が入るが、WindowsだとC:\になってしまうし、Linuxだと/tmpになってしまうケースに対応する場合も、おなじデータセットを置換するラッパーを使います。

先ほどは``addReplacementObject()``でしたが、こちらでは``addReplacementSubstring()``メソッドです。部分一致で変換できるので``[tmp]/deleted-file.txt``みたいにデータセットに書いておくと、OSの作業フォルダに書き換えてくれます。

```java
this.tmpFolderPath = Paths.get(System.getProperty("java.io.tmpdir")).resolve("機能ID");

IDataSet dataSet = new FlatXmlDataSetBuilder().build(
new File("src/test/resources/dbunit/fixture.xml"));

var replacementDataSet = new ReplacementDataSet(dataSet);
replacementDataSet.addReplacementSubstring("[tmp]",
this.tmpFolderPath.toString());

databaseTesterSys.setDataSet(replacementDataSet);
databaseTesterSys.setSetUpOperation(DatabaseOperation.CLEAN_INSERT);
databaseTesterSys.onSetup();
```

# XMLで、最初のタグにない要素は無視される

データセットはExcelとかよりもXMLの方が便利ですね。テーブルごとにまとめれば良いかというと、従属テーブルなんかは親テーブルのそばにあった方が分かりやすいですしね。

ということでXML型式を好んで使っていたのですが、1つ罠がありました。次のようなデータがあったとします。
ユーザーを退会した場合にデータが入るNULLABLEな ``unregisterd_at`` カラムがあり、2つ目のユーザーにだけあります。ですが、このデータは無視されます。というのも、なぜかそのテーブルの要素が持っている属性以外は無視されるとのことでした。↑↑に書いたフィルタを追加して `unregisterd_at="[NULL]"` という属性を最初のユーザーにも設定しなければなりません。

```xml
<?xml version="1.0" encoding="UTF-8"?>
<dataset>
<!-- ユーザーマスタ -->
<m_user id="10" name="ユーザー1" />
<m_user id="20" name="ユーザー2" unregisterd_at="2024/12/01"/>
</dataset>
```

# 新たに作られたパーティションが、careateDataSet()の結果に表れない

PL/pgSQLで書かれたパーティション改廃関数を実行した後に、``careateDataSet()``を呼んで正しくテーブルが作られたり削除されたか確認するテストを作成したのですが、古いパーティションの削除処理は正しく処理され、結果のテーブルリストから消えていたのだが、新たに分割して作った新しいパーティションが見えなかったということがありました。

コネクションプールが悪さしていたみたいです。HikariCPをラップしたミドルウェア経由でPL/pgSQLの関数を呼んでいたのを、Javaの機能を直接呼んで実行してからDBUnitで実行結果を取得したら削除したパーティションも追加したパーティションの情報も反映された結果が取得できました。

```java
try (Connection connection = DriverManager.getConnection(this.dataSourceUrl + "?currentSchema=cmn",
this.dataSourceUser, this.dataSourcePassword)) {
try (Statement stmt = connection.createStatement()) {
stmt.execute("SELECT 関数呼び出し('param1', 'param2')");
}
}
```

# まとめ

単にトラブルシュートの備忘録なので、かっこいい締めの言葉とかオチとかはありません。

いろいろハマりはしましたが、なかなか便利なやつなので、Goとか他の言語にも欲しいですね。
Empty file.
Binary file added source/images/20241204a/dbunit.jpg
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added source/images/20241204a/thumbnail.jpg
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Loading