One-Hot Encodingとは？ One-Hot Encodingは、カテゴリ変数を数値データに変換する手法の一つです。この手法は、機械学習アルゴリズムがカテゴリデータを処理しやすくするためによく使われます。 各カテゴリに対して、全てのカテゴリの数だけのバイナリベクトル ...

一般的にWebシステムは、データベースやレガシーシステムなどと連携することが多い。しかもJavaアプリケーションの文字コードとしてはUnicodeが使用されるため、システム間での文字エンコーディング変換が必要になり、文字コードに関するトラブルも後を ...

丸付き数字は2000年に制定されたJIS X 0213で正式にJIS規格入りしました。このように拡張エンコーディングを利用する場合はふつう明示的に拡張モジュールをuseする必要があります。 文字化けを許容したくない場合 まったく毛色の異なるエンコーディングで ...

前回に引き続き、 今回も文字エンコーディングとセキュリティをテーマに解説します。前回は文字エンコーディングを利用した攻撃で、 JavaScriptインジェクションやSQLインジェクションなどが可能であることを紹介しました。今回はなぜ、 文字 ...

PreToolUse (Read) PostToolUse (Edit/Write) │ │ ├─ binary check (binaryornot) ├─ read cached encoding + line ending ├─ detect encoding (chardet 5.x) ├─ convert UTF-8 → original encoding ├─ detect line ...

Pythonとpandasでデータ処理を行い、さあ結果をCSVファイルに出力！…と、to_csv()を実行して作成したファイルをExcelで開いてみたら、日本語の部分が全部「???」や意味不明な記号になっていた…。そんな「文字化け」の経験はありませんか？ プログラム上では ...