機械学習Pandasを利用してCSVファイルを読み込みカテゴリデータを数値に変換してみた
purin_it ITエンジニアとして経験・学習したこと
Pythonでデータの取り込みや加工・集計、分析処理に利用できるライブラリの一つにPandasがあり、これを利用するとCSVファイルの読み込 … 機械学習
機械学習Pandasを利用してCSVファイルを読み込み欠損値補充をしてみた
purin_it ITエンジニアとして経験・学習したこと
Pythonでデータの取り込みや加工・集計、分析処理に利用できるライブラリの一つにPandasがあり、これを利用するとCSVファイルの読み込 …
機械学習scikit-learnのtrain_test_splitメソッドで入力データを分割してみた
purin_it ITエンジニアとして経験・学習したこと
Python で利用できるデータ分析や機械学習のためのライブラリの一つであるscikit-learnには、（回帰直線の算出元である）入力デー …
機械学習回帰直線の算出や標準化にscikit-learnを使ってみた
purin_it ITエンジニアとして経験・学習したこと
このブログの以下の記事で、最小2乗法と最急降下法を用いて回帰直線を求めている。 https://www.purin-it.com/py …
Spring Boot 基本Spring BootのWebアプリケーションでmessages.propertiesに定義した完了メッセージを表示してみた
purin_it ITエンジニアとして経験・学習したこと
Spring BootのWebアプリケーションでは、messages.propertiesに定義したメッセージを、入力チェックエラーのメッセ …
Spring Boot 基本Spring BootのWebアプリケーションでセッションスコープを利用してみた
purin_it ITエンジニアとして経験・学習したこと
プルダウンリストのように、複数のコントローラ間でデータを持ち回りたい場合、Spring FrameworkのセッションスコープのBeanを利 …
統計正規分布の尤度関数を計算しグラフ化してみた
purin_it ITエンジニアとして経験・学習したこと
\(n\)人が受験したあるテストの点数が、平均\(μ\)、標準偏差\(σ\)の正規分布に従うことが分かっているが、平均\(μ\)、標準偏差\(σ\)の具体値が分からない状態であ …
TimerTrigger/SpringBatchSpring BatchのCSVファイルを出力する処理でBlobContainerClientクラスを利用してみた
purin_it ITエンジニアとして経験・学習したこと
以下の記事で、Spring BatchのChunkモデルを利用したバッチで、DBのデータをAzure Blob StorageにCSVファイ …
Pythonその他Pythonでバイナリファイルを比較してみた
purin_it ITエンジニアとして経験・学習したこと
Pythonには、様々なクラスや関数が用意されていて、その中には、2つのバイナリファイルを比較できるものも含まれている。 今回は、Pythonでバイナリファイルを比較し差分を …
Azure DB連携Azure SQL Database上でトリガーを作成してみた
purin_it ITエンジニアとして経験・学習したこと
あるテーブルに追加(INSERT)／更新(UPDATE)／削除(DELETE)が行われたタイミングで、別のテーブルにデータ操作(追加／更新／ … Spring Boot 基本Spring BootのWebアプリケーションでmessages.propertiesに定義した完了メッセージを表示してみた
purin_it ITエンジニアとして経験・学習したこと
Spring BootのWebアプリケーションでは、messages.propertiesに定義したメッセージを、入力チェックエラーのメッセ … Spring Boot 基本Spring BootのWebアプリケーションでセッションスコープを利用してみた
purin_it ITエンジニアとして経験・学習したこと
プルダウンリストのように、複数のコントローラ間でデータを持ち回りたい場合、Spring FrameworkのセッションスコープのBeanを利 …
JUnitSpring Boot 2.7を利用したJavaアプリケーションでPowerMockを利用したテストを実行してみた
purin_it ITエンジニアとして経験・学習したこと
Spring Boot 2.7を利用したJavaアプリケーションでPowerMockを利用する際、mockito-coreやpowermoc …
JUnitSpring Boot 2.7を利用したJavaアプリケーションでJUnit4とJUnit5のテストを実行してみた
purin_it ITエンジニアとして経験・学習したこと
Spring Boot 2.7を利用したJavaアプリケーションでJUnitを用いると、通常はJUnit5で動作するが、JUnit4とJUn …
Spring Boot DB連携Spring BootでMyBatisを利用しSQL Serverに接続するアプリケーションで楽観ロックを利用してみた
purin_it ITエンジニアとして経験・学習したこと
これまでこのブログで、Spring BootでMyBatisを利用しDB更新するアプリケーションをいくつか取り上げてきたが、DB更新時に、楽 …
Spring Boot CSSCSSでカスタマイズしたチェックボックスをSpring Bootで表示してみた
purin_it ITエンジニアとして経験・学習したこと
チェックボックスは、inputタグのtype属性でtype="checkbox"を指定することで作成されるが、このタグの標準スタイルは、ラジ …
Spring Boot CSSCSSでカスタマイズしたラジオボタンをSpring Bootで表示してみた
purin_it ITエンジニアとして経験・学習したこと
ラジオボタンは、inputタグのtype属性でtype="radio"を指定することで作成されるが、このタグの標準スタイルは、CSSでオリジ …
JakartaEE(JavaEE)JBoss Seamアプリケーションでチェック処理を実装してみた
purin_it ITエンジニアとして経験・学習したこと
JBoss Seamとは、Java EEベースで、JSF(JavaServer Faces)からEJB(Enterprise Java Be …
JakartaEE(JavaEE)JBoss Seamアプリケーションで複数画面をもつWebアプリケーションを作成してみた
purin_it ITエンジニアとして経験・学習したこと
JBoss Seamとは、Java EEベースで、JSF(JavaServer Faces)からEJB(Enterprise Java Be …
JakartaEE(JavaEE)JBoss Seamアプリケーションで初期表示画面を作成してみた
purin_it ITエンジニアとして経験・学習したこと
JBoss Seamとは、Java EEベースで、JSF(JavaServer Faces)からEJB(Enterprise Java Be …
DBSQL Serverで一定件数ずつデータ更新とデータ追加をしてみた
purin_it ITエンジニアとして経験・学習したこと
テーブルデータを更新する際に、テーブル全件を一括更新しようとすると、テーブルロックによりデッドロックが発生する可能性があるため、一定件数(例 …
DBSQL Serverで一定件数ずつデータ更新してみた
purin_it ITエンジニアとして経験・学習したこと
テーブルデータを更新する際に、テーブル全件を一括更新しようとすると、テーブルロックによりデッドロックが発生する可能性があるため、一定件数(例 …
DBSQL Serverで複雑なクエリをもつデータ間の差分を抽出してみた
purin_it ITエンジニアとして経験・学習したこと
SQL Serverで、2つのSELECT文の抽出結果差分を取得するにはEXCEPT演算子を利用すればよいが、WITH句を含むSELECT文 …
DBSQL Serverでピリオドを複数含む同一ユーザーのGメールを検索してみた
purin_it ITエンジニアとして経験・学習したこと
Gmail アドレスの場合、ピリオドを複数含む場合も、同一ユーザーとして扱われる。
https://support.google.com/ …
DBSQL ServerでJSON文字列を別行に分割してみた
purin_it ITエンジニアとして経験・学習したこと
SQL ServerでJSON文字列を含むカラムがある場合、ISJSON関数でJSON文字列かどうか判断でき、OPENJSON関数でJSON …
DBSQL Serverでログインユーザーの権限を確認してみた
purin_it ITエンジニアとして経験・学習したこと
SQL Serverでログインユーザーの権限を確認するには、sys.fn_my_permissionsビュー等で確認できる。今回は、ログイン …
DBSQL Serverの一時テーブルを利用してみた
purin_it ITエンジニアとして経験・学習したこと
SQL Serverに接続している(同一セッション内の)間だけ有効なテーブルを、一時テーブルという。
今回は、SQL Serverで一時テ …
DBT-SQLでSQL Serverの特定テーブルのバックアップ取得／リストアを行うプログラムを作成してみた
purin_it ITエンジニアとして経験・学習したこと
T-SQL(Transact-SQL)はSQLの拡張機能として開発されたもので、SQLに、条件分岐や繰り返しなどを含む制御構造を加えることが …
DBA5M2でテーブル定義書出力とCSVエクスポート／インポートをしてみた
purin_it ITエンジニアとして経験・学習したこと
A5M2(A5:SQL Mk-2)には、テーブル定義書を出力したり、CSVファイルによるテーブルデータのエクスポート／インポートする機能があ …
DBA5M2でSQL自動作成やSQL整形をしてみた
purin_it ITエンジニアとして経験・学習したこと
A5M2(A5:SQL Mk-2)には、選択したテーブルに関するSQLを自動作成したり、指定したSQLを整形する機能がある。 今回は、 …
Azure DB連携Azure エラスティックジョブを作成してみた
purin_it ITエンジニアとして経験・学習したこと
Azure エラスティックジョブを利用すると、多数のデータベースを対象にまとまったSQL文(Transact-SQL,T-SQL)を並列実行 …
Azure DB連携Azure SQL DatabaseでSTRING_AGG関数を利用してみた
purin_it ITエンジニアとして経験・学習したこと
SQL Server 2017 の新機能の中に、複数行のデータを1行にまとめて表示することができるSTRING_AGG関数がある。 今 …
Azure PythonAzure Pipelinesで「Invalid clientid or client secret」エラーを解決してみた
purin_it ITエンジニアとして経験・学習したこと
久しぶりに、Azure Pipelinesを利用して、Dockerコンテナを利用したPythonアプリケーションをContainer Reg …
Azure PythonAzure Pipelinesを利用してDockerコンテナを利用したPythonアプリケーションをContainer Registryに自動反映してみた
purin_it ITエンジニアとして経験・学習したこと
Azure DevOpsとは、Azure 上で DevOps(計画→開発→デリバリー→運用)を実現するために必要なサービスが揃ったプラットフ …
Azure DB連携BULK INSERT文を利用してAzure SQL Databaseへデータ追加するSQLファイルを作成し実行してみた
purin_it ITエンジニアとして経験・学習したこと
BULK INSERT文を利用したAzure SQL Databaseへのデータ追加は、以下の記事のように実施できる。 https:/ …
Azure DB連携BULK INSERT文を利用してCSVファイルのデータをAzure SQL Databaseのテーブルに追加してみた
purin_it ITエンジニアとして経験・学習したこと
BULK INSERT文を利用すると、以下のサイトのように、CSVファイルのデータをSQL Serverのテーブルに追加することができる。
…
Azure PythonAzure DevOps上のAzure Reposにブランチを作成しソースコードを配置してみた
purin_it ITエンジニアとして経験・学習したこと
Azure DevOpsとは、Azure 上で DevOps(計画→開発→デリバリー→運用)を実現するために必要なサービスが揃ったプラットフ …
Azure PythonAzure Functions上で動作するPythonアプリケーションで環境変数を利用してみた
purin_it ITエンジニアとして経験・学習したこと
Azure Functions上で動作するアプリケーションにおいて、環境変数を定義し利用することができる。 今回は、Azure Fun …
Azure PythonAzure Functions上で動作するDockerコンテナを利用したPythonアプリケーションをContainer Registryに配置してみた
purin_it ITエンジニアとして経験・学習したこと
Azure Functions上でDockerイメージを利用してPythonアプリケーションを構築する際、Dockerイメージの配置先を(D …
Azure PythonAzure Logic AppsからDurable Functionsを呼び出してみた
purin_it ITエンジニアとして経験・学習したこと
Azure Logic Appsは、コードをほとんど使わずに、自動化されたワークフローを作成して実行できるツールで、これを利用すると、例えば …