機械学習3σ法で（正規分布に従う）入力データから外れ値を削除してみた
purin_it ITエンジニアとして経験・学習したこと
入力データが正規分布に従うと仮定した場合の外れ値の検出方法の1つに「3σ法」がある。 3σ法は、σを標準偏差として、(平均)-3σ～( … 機械学習
機械学習回帰直線を算出するクラスのモデルを保存してみた
purin_it ITエンジニアとして経験・学習したこと
これまでこのブログで、回帰直線\(y=ax+b\)を算出するクラスに入力データをあてはめ、\(a\),\(b\)の値を算出するモデルを作 …
機械学習回帰直線を算出するクラスで抽象メソッドを利用してみた
purin_it ITエンジニアとして経験・学習したこと
PythonにはJavaと同じ「オブジェクト指向」という概念があり、データと処理をまとめた「クラス」を定義し、その「クラス」から「インスタン …
機械学習回帰直線を算出するクラスを作成してみた
purin_it ITエンジニアとして経験・学習したこと
PythonにはJavaと同じ「オブジェクト指向」という概念があり、データと処理をまとめた「クラス」を定義し、その「クラス」から「インスタンス」を複数作成することができる。 …
機械学習Pandasを利用してOracle DBのデータを取得してみた
purin_it ITエンジニアとして経験・学習したこと
Pythonでデータの取り込みや加工・集計、分析処理に利用できるライブラリの一つにPandasがあり、これを利用するとCSVファイルの読み込 …
機械学習Pandasを利用してCSVファイルを読み込みカテゴリデータを数値に変換してみた
purin_it ITエンジニアとして経験・学習したこと
Pythonでデータの取り込みや加工・集計、分析処理に利用できるライブラリの一つにPandasがあり、これを利用するとCSVファイルの読み込 …
機械学習Pandasを利用してCSVファイルを読み込み欠損値補充をしてみた
purin_it ITエンジニアとして経験・学習したこと
Pythonでデータの取り込みや加工・集計、分析処理に利用できるライブラリの一つにPandasがあり、これを利用するとCSVファイルの読み込 …
機械学習scikit-learnのtrain_test_splitメソッドで入力データを分割してみた
purin_it ITエンジニアとして経験・学習したこと
Python で利用できるデータ分析や機械学習のためのライブラリの一つであるscikit-learnには、（回帰直線の算出元である）入力デー …
機械学習回帰直線の算出や標準化にscikit-learnを使ってみた
purin_it ITエンジニアとして経験・学習したこと
このブログの以下の記事で、最小2乗法と最急降下法を用いて回帰直線を求めている。 https://www.purin-it.com/py …
Spring Boot 基本Spring BootのWebアプリケーションでmessages.propertiesに定義した完了メッセージを表示してみた
purin_it ITエンジニアとして経験・学習したこと
Spring BootのWebアプリケーションでは、messages.propertiesに定義したメッセージを、入力チェックエラーのメッセ … Spring Boot 基本Spring BootのWebアプリケーションでmessages.propertiesに定義した完了メッセージを表示してみた
purin_it ITエンジニアとして経験・学習したこと
Spring BootのWebアプリケーションでは、messages.propertiesに定義したメッセージを、入力チェックエラーのメッセ …
Spring Boot 基本Spring BootのWebアプリケーションでセッションスコープを利用してみた
purin_it ITエンジニアとして経験・学習したこと
プルダウンリストのように、複数のコントローラ間でデータを持ち回りたい場合、Spring FrameworkのセッションスコープのBeanを利 …
JUnitSpring Boot 2.7を利用したJavaアプリケーションでPowerMockを利用したテストを実行してみた
purin_it ITエンジニアとして経験・学習したこと
Spring Boot 2.7を利用したJavaアプリケーションでPowerMockを利用する際、mockito-coreやpowermoc …
JUnitSpring Boot 2.7を利用したJavaアプリケーションでJUnit4とJUnit5のテストを実行してみた
purin_it ITエンジニアとして経験・学習したこと
Spring Boot 2.7を利用したJavaアプリケーションでJUnitを用いると、通常はJUnit5で動作するが、JUnit4とJUn …
Spring Boot DB連携Spring BootでMyBatisを利用しSQL Serverに接続するアプリケーションで楽観ロックを利用してみた
purin_it ITエンジニアとして経験・学習したこと
これまでこのブログで、Spring BootでMyBatisを利用しDB更新するアプリケーションをいくつか取り上げてきたが、DB更新時に、楽 …
Spring Boot CSSCSSでカスタマイズしたチェックボックスをSpring Bootで表示してみた
purin_it ITエンジニアとして経験・学習したこと
チェックボックスは、inputタグのtype属性でtype="checkbox"を指定することで作成されるが、このタグの標準スタイルは、ラジ …
Spring Boot CSSCSSでカスタマイズしたラジオボタンをSpring Bootで表示してみた
purin_it ITエンジニアとして経験・学習したこと
ラジオボタンは、inputタグのtype属性でtype="radio"を指定することで作成されるが、このタグの標準スタイルは、CSSでオリジ …
JakartaEE(JavaEE)JBoss Seamアプリケーションでチェック処理を実装してみた
purin_it ITエンジニアとして経験・学習したこと
JBoss Seamとは、Java EEベースで、JSF(JavaServer Faces)からEJB(Enterprise Java Be …
JakartaEE(JavaEE)JBoss Seamアプリケーションで複数画面をもつWebアプリケーションを作成してみた
purin_it ITエンジニアとして経験・学習したこと
JBoss Seamとは、Java EEベースで、JSF(JavaServer Faces)からEJB(Enterprise Java Be …
JakartaEE(JavaEE)JBoss Seamアプリケーションで初期表示画面を作成してみた
purin_it ITエンジニアとして経験・学習したこと
JBoss Seamとは、Java EEベースで、JSF(JavaServer Faces)からEJB(Enterprise Java Be …
DBSQL Serverで複雑なクエリをもつデータ間の差分を抽出してみた
purin_it ITエンジニアとして経験・学習したこと
SQL Serverで、2つのSELECT文の抽出結果差分を取得するにはEXCEPT演算子を利用すればよいが、WITH句を含むSELECT文 …
DBSQL Serverでピリオドを複数含む同一ユーザーのGメールを検索してみた
purin_it ITエンジニアとして経験・学習したこと
Gmail アドレスの場合、ピリオドを複数含む場合も、同一ユーザーとして扱われる。
https://support.google.com/ …
DBSQL ServerでJSON文字列を別行に分割してみた
purin_it ITエンジニアとして経験・学習したこと
SQL ServerでJSON文字列を含むカラムがある場合、ISJSON関数でJSON文字列かどうか判断でき、OPENJSON関数でJSON …
DBSQL Serverでログインユーザーの権限を確認してみた
purin_it ITエンジニアとして経験・学習したこと
SQL Serverでログインユーザーの権限を確認するには、sys.fn_my_permissionsビュー等で確認できる。今回は、ログイン …
DBSQL Serverの一時テーブルを利用してみた
purin_it ITエンジニアとして経験・学習したこと
SQL Serverに接続している(同一セッション内の)間だけ有効なテーブルを、一時テーブルという。
今回は、SQL Serverで一時テ …
DBT-SQLでSQL Serverの特定テーブルのバックアップ取得／リストアを行うプログラムを作成してみた
purin_it ITエンジニアとして経験・学習したこと
T-SQL(Transact-SQL)はSQLの拡張機能として開発されたもので、SQLに、条件分岐や繰り返しなどを含む制御構造を加えることが …
DBA5M2でテーブル定義書出力とCSVエクスポート／インポートをしてみた
purin_it ITエンジニアとして経験・学習したこと
A5M2(A5:SQL Mk-2)には、テーブル定義書を出力したり、CSVファイルによるテーブルデータのエクスポート／インポートする機能があ …
DBA5M2でSQL自動作成やSQL整形をしてみた
purin_it ITエンジニアとして経験・学習したこと
A5M2(A5:SQL Mk-2)には、選択したテーブルに関するSQLを自動作成したり、指定したSQLを整形する機能がある。 今回は、 …
DBタイムゾーンがUTCであるSQL Database上で 現在日時を東京時間で表示してみた
purin_it ITエンジニアとして経験・学習したこと
Azure Potal上でSQL Databaseを作成する際、以下の手順で作成すると、SQL DatabaseのタイムゾーンはUTC(協定 …
DBSQL Serverで自動コミットを無効にしてDDL文を実行してみた
purin_it ITエンジニアとして経験・学習したこと
SQL Serverの場合、自動コミットを無効にした状態でDDL文(CREATE TABLE文、DROP TABLE文等)を実行した後でコミ …
Azure DB連携Azure SQL DatabaseでSTRING_AGG関数を利用してみた
purin_it ITエンジニアとして経験・学習したこと
SQL Server 2017 の新機能の中に、複数行のデータを1行にまとめて表示することができるSTRING_AGG関数がある。 今 …
Azure PythonAzure Pipelinesで「Invalid clientid or client secret」エラーを解決してみた
purin_it ITエンジニアとして経験・学習したこと
久しぶりに、Azure Pipelinesを利用して、Dockerコンテナを利用したPythonアプリケーションをContainer Reg …
Azure PythonAzure Pipelinesを利用してDockerコンテナを利用したPythonアプリケーションをContainer Registryに自動反映してみた
purin_it ITエンジニアとして経験・学習したこと
Azure DevOpsとは、Azure 上で DevOps(計画→開発→デリバリー→運用)を実現するために必要なサービスが揃ったプラットフ …
Azure DB連携BULK INSERT文を利用してAzure SQL Databaseへデータ追加するSQLファイルを作成し実行してみた
purin_it ITエンジニアとして経験・学習したこと
BULK INSERT文を利用したAzure SQL Databaseへのデータ追加は、以下の記事のように実施できる。 https:/ …
Azure DB連携BULK INSERT文を利用してCSVファイルのデータをAzure SQL Databaseのテーブルに追加してみた
purin_it ITエンジニアとして経験・学習したこと
BULK INSERT文を利用すると、以下のサイトのように、CSVファイルのデータをSQL Serverのテーブルに追加することができる。
…
Azure PythonAzure DevOps上のAzure Reposにブランチを作成しソースコードを配置してみた
purin_it ITエンジニアとして経験・学習したこと
Azure DevOpsとは、Azure 上で DevOps(計画→開発→デリバリー→運用)を実現するために必要なサービスが揃ったプラットフ …
Azure PythonAzure Functions上で動作するPythonアプリケーションで環境変数を利用してみた
purin_it ITエンジニアとして経験・学習したこと
Azure Functions上で動作するアプリケーションにおいて、環境変数を定義し利用することができる。 今回は、Azure Fun …
Azure PythonAzure Functions上で動作するDockerコンテナを利用したPythonアプリケーションをContainer Registryに配置してみた
purin_it ITエンジニアとして経験・学習したこと
Azure Functions上でDockerイメージを利用してPythonアプリケーションを構築する際、Dockerイメージの配置先を(D …
Azure PythonAzure Logic AppsからDurable Functionsを呼び出してみた
purin_it ITエンジニアとして経験・学習したこと
Azure Logic Appsは、コードをほとんど使わずに、自動化されたワークフローを作成して実行できるツールで、これを利用すると、例えば …
Azure PythonAzure Functions上で動作するPythonアプリケーションでDurable Functionsを利用してみた
purin_it ITエンジニアとして経験・学習したこと
Durable Functionsは、複数の処理を同調させて1つのワークフローを構成できるコード実行サービスで、関数と呼ばれるプログラムコー …