2024.06.01 04:00【Exploratry】期間中に件数が増加した地域を可視化（Areas where the number of cases increased during the period）では次に、Exploratryで表示していきます。使用データは【SQL】件数10倍超ブロックの緯度経度中央値記事のメーンSQLからWHERE ( count1519 / count1014 ) > 10を省いて、全道路データを用いたもの。地図コマンドがあるからすぐ終わった。緯度経度も勝手に入ってくる。デフォ位置は良い感じに合わせてくれる。OSMの背景はライト／ダーク／ストリートから選べる。フォントもUIもスタイリッシュ。使いやすさに震える。
2024.05.30 04:30【Flourish】期間中に件数が増加した地域を可視化（Areas where the number of cases increased during the period）では同様に、Flourishで表示していきます。前回QJISでは、期間前半後半で犯罪件数が10倍超になった場所に絞りましたが、今回はプラスになった（2010-2014より2015-2019の犯罪件数が多かった）場所すべてを地図に置いていきます。1倍（同じ件数）も含んでるから増加とはいえないか。うーんでも全体件数半減だから言えないこともないか。いや屁理屈やん。使用データは【SQL】件数10倍超ブロックの緯度経度中央値記事のメーンSQLからWHERE ( count1519 / count1014 ) > 10を省いて、全ての道路の比率を用います。あ、ゼロ除算チェックしてない。こういうとき、計算はもう単純にプラマイかゼロ排除か基準値置き換えか、ルーテ...
2024.05.24 20:25【QJIS】期間中に件数が10倍超えた地域を可視化（Areas where the number of cases exceeded 10 times during the period）単純に年の総数を地図に落としただけでは足りない。前の記事に書いたような社会情勢もあるけど、2010年代の前半→後半で、全体件数は半減しているのに特定の地域で明らかに件数が増えている。市民に注意喚起するなら、の視点で可視化しています。とはいえこれはコロナ前の数字。最新を含めればまた変わるだろう。。ツール：QJIS【入力データ】データソース：CSV文字コード：UTF-8属性：block=text, latitude/longitude/rate10=double（倍精度）ジオメトリ定義：ポイント座標・X値「longitude」/ Y値「latitude」ジオメトリのCRS：EPSG:9755 - WGS84(G2139)ちな属性を整数(bit34)にしたら...
2024.05.11 02:10【SQL】件数10倍超ブロックの緯度経度中央値（Median lat/long of blocks where the number of crimes more than 10-fold）発生件数5倍以上は17件、いっそ10倍以上になってるブロックについて可視化したい。「あのへん近付かないほうがいいか」と。しかしブロック基準で地図に落とし込むとすると、各ブロックの緯度経度を集約しなきゃいけない。同じ道路でも距離があったり細かく入力されていたりすると、歩道の対面でも緯度経度変わるから、道路の中央値を取ってまとめたいところ。発生件数10倍以上のブロックを探すブロックの位置情報一覧を出すブロックごとの緯度経度中央値を出す１．発生件数10倍以上のブロックを探す【SQL】前回続き：メーン部分のみ変更SELECT block, count1014, count1519, ROUND(( count1519 / count1014 ),1...
2024.05.08 09:00【SQL】犯罪多発ブロックの期間増減（Periodic increase/decrease in certain high crime blocks）実際住んでたら、ブロック名はわかりますよね。「あのへん危ない」がわかれば、送り迎えで通らないとか、繁華街とか、住人だからなんとなく聞いた噂とか。言い換えれば、それが周知だからこそ、地元警察も見回って声掛けして、結果、近辺の検挙率が上がるともいえる。2010-2019の前半後半で、ブロック別の売春検挙率はどう変わったのか？明らかに全体量は半減。たいてい下がっていそうだが。
2024.05.04 20:55【QJIS】犯罪箇所ヒートマップ（Crime location heat map）可視化ツールって、入れたデータを取捨選択することはできないんかな？Flourishはテンプレ変換だから対応する列を選択できる。この過程でデータ列を選ぶことはできる。でもFlourish、ワイド→ロング型変更は簡単だったがロング→ワイドはExploratryほど狙った操作ができなかった。QJISは入れたもの全部使う、というよりデータそのものの取り扱いまで私が至っていない。関数をコードで入れる場所はある。地物やら見慣れない言葉も多い。Tableauはデータソース連結、型変換が容易だけど、精査には特化してない。結論、やっぱりデータ分析はクレンジング８割。やってて実感するから先人たちはあれほど断言するんだな。私自身、可視化ツール内でデータは触りたくない。インポ...
2024.05.03 06:30ペルソナ設定、取り出すデータを絞る（Persona setting, limiting data）Chicago_crime公開データを地図に落とし込もうとしたら、犯罪数が多すぎて塩梅がつかめなかった。せっかく再考するならペルソナをたてよう。では、仮に自分がシカゴに住む親で、子供がいたら。10年間の犯罪動向で知りたいもの三つ選ぶ。結論：それでも多かった。次回、さらに絞る。青「OFFENSE INVOLVING CHILDEREN」子供を巻き込んだ犯罪緑「KIDNAPPING」児童誘拐赤「PROSTITUTION」売春
2024.04.27 23:20【SQL】ウィンドウ関数：累積相対度数（window function:Cumulative relative degree）WITH句を使わないFROM入れ子形式、ウィンドウ関数SUMを使って累積相対度数を出します。ツールによっては自動計算してくれそうだが。年ごとに最後は1になるので、ダブルチェック兼ねて。使用データ：[ Google Cloud Public Datasets] chicago_crime_data (Chicago Police Department crime data from 2001 to present)期間：2010-01-01 ～ 2020-12-31(10年間)年別の犯罪タイプ上位からの足し上げと累積相対度数（ウィンドウ関数）【SQL】SELECT year, primary_type, sum_year,SUM(sum_year) OV...
2024.04.24 19:25【Flourish】年別／タイプ別件数（Number of cases by year/type） 過去記事「【SQL】年別総数とタイプ別割合」で作ったデータソースをもとに、Flourishで可視化します。Flourishは、テンプレ群がスタイリッシュでカラフルで目を引きます。動的なので、うまくはまれば自分がちょっと仕事出来る感じに思えてくる（錯覚）、ゲーマー向きなプラットフォームです。個人的視点。使用データ：[ Google Cloud Public Datasets] chicago_crime_data (Chicago Police Department crime data from 2001 to present)期間：2010-01-01 ～ 2020-12-31(10年間)棒グラフエリアグラフ１．棒グラフまず完成形を。なにぶん犯罪タ...
2024.04.21 12:00【SQL】 ロング型からワイド型へのデータ変換②（Data conversion from long to wide type(2)）①の続き。Flourish での可視化のために、データの形を変えることにした。SQLで書く場合の記述です。使用データ：[ Google Cloud Public Datasets] chicago_crime_data (Chicago Police Department crime data from 2001 to present)期間：2010-01-01 ～ 2020-12-31(10年間)「年」×「犯罪タイプ」×「件数」のロングデータ現状データ（過去記事参照）を、「年」×「犯罪タイプ件数」のワイドデータに変換します。【SQL】一部 SELECT year, MAX(sum_year) AS sum_year_total, MAX(case p...
2024.04.19 10:40ロング型からワイド型へのデータ変換①（Data conversion from long to wide type(1)）同じデータソースを使って複数のプラットフォームを扱うとき、必ずあるのが独自ルール。「何を」「どの視点で」「誰のために」可視化するかで、準備も変わります。今回は、Flourishで可視化するために、TableauとExploratryで用いたデータの形を変えます。使用データ：[ Google Cloud Public Datasets] chicago_crime_data (Chicago Police Department crime data from 2001 to present)期間：2010-01-01 ～ 2020-12-31(10年間)Flourishって、豊富なテンプレに合えば即可視化できます。以下はバー＆パイチャートのテンプレ一部。...
2024.04.17 08:15カテゴリの重複：データクリーニングの必要性(Category overlap: the need for data cleaning)Flourish での可視化途中にデータの乱れを見つけてしまった。データ分析において、データクリーニングが８割。身をもって体感です。今回は趣味だからいいものの。人が入力してるリアルタイム更新データ、いい反省体験になりました。カテゴリー分けの名前に重複カテゴリが重複しているんですよね。半角スペースの有り無し、略語とか。日本語と違うややこしさたるや。以下に図（見やすいようyearを添えて）「NON-CRIMINAL」/「NON - CRIMINAL」：ハイフン前後の半角スペース「NON-CRIMINAL(SUBJECT SPECIFIED)」：複数容疑でメーンに据えたと思われ。「CRIMINAL SEXUIAL ASSAULT」/「CRIM SEXUAL ...