MySQLでGROUP BYした時に最初のN件を抽出する方法メモ How to select the first/least/max row per group in SQL | Xaprb に載っているユーザ変数を使う方法が簡単そう テーブル +----+-------+ | id | chara | +----+-------+ | 1 | A | | 2 | C | | 3 | B …

はじめてのpigメモ 複数のファイルから種別毎にファイルを分類する logfile1 type message LOG0001 MESSAGE1 LOG0001 MESSAGE2 ... ... LOG0004 MESSAGE15 logfile2 ... 4 pigコマンド pig -x local -x local でローカル実行（なしでhadoopモード） Pig Lati…

TableA(1000万件)から100万件をTableBにInsertしたい ・1件ずつコミット while ($i <= 1000000){ $sql=qq{ insert into TableB select id,str from TableA where id=$i }; $dbh->do($sql); $dbh->commit(); $i++; } 処理時間 16分58秒 ・1万件ずつコミット $…

table_m : 10000件 table_a : 1000件 table_b : 1000件 select count(*) from table_m m join table_a a on (m.link1=a.id) join table_b b on (m.link2=b.id) Time taken: 42.128 seconds MapJoin メモリにハッシュテーブルを持ってMapフェーズのみでJoinを…

ジョブをバックグラウンドで実行 (ジョブ) & ログアウト後も実行させ続ける nohup (ジョブ) & 実行途中でバックに移す Ctrl + Z # bg Linuxコマンド集 - 【 nohup 】 ログアウトした後もコマンドを実行し続ける：ITpro Linuxコマンド集 - 【 & 】 コマンドを…