セミナ受講しました。
[Tech Fielders セミナー 東京] Hadoop じゃなきゃダメなんですか？ 身近な Windows で大規模並列分散処理
日時 2011/04/26 (水) 13:30 〜 18:00
場所 SGT 31F C/D MSKK
以下、自分のツイート （上が最新、下が古い）
- ネクターはググってください。 NECTOR domain MapReduce #techfielders
- ASAKUSA 説明はここらへん → http://itpro.nikkeibp.co.jp/article/NEWS/20110209/357032/ #techfielders
- 回帰計算が苦手なら DNS を例題にするのは危険だなと思った。私が別のところで講師する際のメカニズム説明をする際には。 #techfielders
- HPC との統合の前に、回帰的計算は苦手 #techfielders
- さっきから無線通信をよく考えるのはΛ式と聞くからだと、脳内整理なう。 #techfielders
- DSCコマンドが動いてへんように見える QA → http://social.msdn.microsoft.com/Forums/en-US/dryad/thread/57e8d064-74aa-482c-b6f4-e9143cae9f72/ #techfielders
- DryadLINQ はローカル参照だけで処理（SQL的な)はリモートで扱えるとな。FileSystem 上からも NoSQL で操作。 // ここらへんで理解できた。 #TechFielders
- ｗ RT @udukiran こっそりJavaのダメなところを主張。ラムダ式書けない言語なんて、とははっきり言わないけど。。。 #TechFielders
- くそぅ、少ノードでは効果が不明だ。。。 脳内想像力を豊かにしないと「素」では理解できないや。 #techfielders
- んー、無線通信の多重化に似ているが、時分割でプロセス管理するように記述するということ？脳内理解速度が落ちてきたｗ #techfielders
- この場合プロセスは垂直だな。 DAG #techfielders
- VS2010 -> Build は .NET 4.0 で HPC 開発 #techfielders
- ふと。SQLer は、SQerror と同じ発音だｗ と思ったなう。 #techfielders
- 自分以外の呟きが見えない。。。ハッシュタグを間違えているのか、、それとも、まったく関心がもたれていない世界なのか？ #techfielders
- MapReduce 物理最適化のトレンドは和を取り差分を取り、それぞれの増分へ置き換え転送量を減らす。しかし、これって、できないこともあるよね？ #techfielders
- 他の皆さんの考え方はなんだろう？ #techfielders
- ワタシの考え方は、重みづけのコストで最適化をしている。処理の順序変更は #techfielders
- 論理最適化と物理最適化は SQLer な皆さんはお馴染みですね。安心しました。 #techfielders
- 最適化の考え方はいろいろあるなと思う。処理コスト、実装（コンパイラ吸収）、論理コスト、 etc… #techfielders
- たむけんに意味不な呟きを連投してる人がいはる。大変やな
- MSFT Research, Dryad Prj. http://blogs.msdn.com/b/toiwade/archive/2010/06/21/dryad-microsoft-research.aspx #techfielders
- 抽象化の例で、 PLINQ は掲載されてないな。 DryadLINQ か、そうなのか、そうなるのか。 #techfielders
- ふと。MapReduce で実現するのは NoSQL なので 、このお話の先には何が出てくるのかしら？ #techfielders
- JavaScpace, GigaSpaces は同じレイヤ（階層）のまま通信を行う。普通に通信させると階層オーバーヘッドが生じる。 // ま、それはそうなんだけど。 #techfielders
- Tuple Spaces サンプル → http://pr.ice.uec.ac.jp/~terada/progs/ts.html #techfielders
- Bulk Synchronous Parallel はサイニイに論文だらけ ムズそうｗ #techfielders
- MSKK 萩原さん @masayh の登壇中。 blog http://blogs.msdn.com/b/masayh/default.aspx #techfielders #hadoopjp
- こんなかで、既に Hadoop をお使いの方は全体の5%程度、.NET PG は全体の20%くらい。 #techfielders
- Internet Explorer 9 から一部の Canon プリンターを使用して印刷できない http://t.co/gQThl75
- アライドテレシスが全国キャラバン隊を展開 「 RoadShow2011」開催のご案内 〜 市場別！クラウドレディのインフラ構築 〜 → http://www.allied-telesis.co.jp/roadshow2011/
- 使い道、設計のお誘いは喜んで承ります。 HPC / MQ #techfielders
- んで、KVS は次かな？ #techfielders
- MQ キャッシュタスクを考えるならばオーバーヘッドで HPC もアリッチャ、アリだね。 #techfielders
- http://social.msdn.microsoft.com/Search/ja-JP/?Refinement=111&Query=HPC+SOA&beta=0 昨年のHPC資料。 #techfielders
- MSDN で検索「HPC SOA」 http://social.msdn.microsoft.com/Search/ja-JP?query=HPC%20SOA&beta=0&ac=8 #techfielders
- 計算ノードからバラバラに返ってくるのが実演予定。 ちなみに MQ は到着性を保証されたもので、これを UDP で使えるものが最近の主流とつぶやいておく。 #techfielders
- コネクション失敗ｗ 残念でした。 #techfielders
- 入力したものを単純に二乗するだけの WCF サービスを Azure ホストするだけのシナリオｗ #techfielders
- 動かなかった場合を想定して VS2010 プロジェクトファイルの説明なう #techfielders
- それで、動くかどうか。 脳内で理解できたので動くと思います。 #techfielders
- HPC pack (power shell) から create 実演はせずに、出来合いを利用とな！ #techfielders
- Azure Instances 可用性の方法、手元アプリ zip パッケージを一度 Azure Storage node へ binデータで上げとく。Worker node を流し込んで HPC クラスタマネジャから必要ホスティングを結合して動かす。 #techfielders
- Azure Instances 100個・・・ｗ #techfielders
- Excel による並列処理って、なんだか無駄な動きと思うが、どのように説明するかじっくり聞いてみよう。 #techfielders
- わかった！やっぱし確実な計算処理結果を配信するため、並列処理して SOA 実現し MQ 要らずな環境に適するんだね。そうなると適用事業は金融が一番導入提案しやすいと脳内整理なう。 #techfielders
- 処理のオーバーヘッドは中間部で集約できるように見えるのがメリットか？ MQ 風にキューイングして確実性を持たせるような振る舞いになるということ？？ #techfielders
- ヘッドノードはブローカーノードに対して計算ノード上の計算リソースを計算して、計算を起こしに行く(SOA) -> WCF ServiceJob をクライアントへ起動 -> W/S から req 送信 -> 計算ノードへ送信 -> レスポンスを W/S へ #techfielders
- SBI ホールディングスのバズな DIS/MAS は終了か。 #seojp
- HPC on Azure 利点は理解できるんだけど、ITゼネコンは今後 HPC 分野に対してどのようなメッセージ（営業的）を出すのか興味。 #techfielders
- MOM = Messageing Object MidleWare #techfielders
- 個人的にハイブリッドクラウドという言い方は好きではない。ITゼネコンが無理して言ってるだけのように聞こえる。 #techfielders
- 特価com の特売案内見てるなう
- MSKK 野村さん登壇なう #techfielders
- 普通の定義はなんだろ？ｗ #techfielders
- 休憩終わるとワイマ落ちる
- 昨日配布分ですね RT @Chuki: げ、なぜ今日Microsoft Updateがorz 再起動するなど
- ｗ RT @Chuki: なんか裏疚しいイベントの宣伝してるorz #techfielders
- デブホォラム案内、地震だ #techfielders
- お、休憩時間は WiMAx つながる
- 高添さんお疲れ様でした #techfielders
- でも計算だけだよな。SQLアジュールは触れず。設計は皆さん次第。 #techfielders
- 開始してインスタンス出来てからオンライン #techfielders
- 呟きが少ないはワイマとイーモバ難民が多いからかな？ #techfielders
- これもオパリスで一元管理できるのかしら？hostからノードまで #techfielders
- 計算ノードでbogomipsを走らせたり妄想。 #techfielders
- 期待大 RT @terurou: やっとAzureが出てきたが、クラウディアが出てこないのは一体どういうことなの。。。 #techfielders
- SP1適用であずゅにゃん対応 #techfielders
- やっぱトータルはそれなり時間要するな #techfielders
- ケータイから誤変換ｗ RT @yukio_saitoh: Classrunコマンドで環境プロ美女ニング #techfielders
- Classrunコマンドで環境プロ美女ニング #techfielders
- ハイブリットディスクか。いいな。ちなみに会場のワイマックス難民なう。 RT @yukio_saitoh: SSD 組んでるのかな？高添さんのノートPC #techfielders
- SSD 組んでるのかな？高添さんのノートPC #techfielders
- メモ： http://www.microsoft.com/japan/hpc/default.mspx Windows HPC Server 2008 R2 ホーム #techfielders
- 2回目無料キャンペーン中にがんがって！ RT @Chuki @iseebi がんがれー（私も更新していかないといけないなぁorz） RT MCPうけることにした (via @iseebi)
- Windows Home Server 2011 (x64) – DVD (Japanese) 4,206 (MB) 、、ちょっと重いな。
- oops! プロダクト キーを取得できませんでした。 [object Object]
- example.com は IANA で予約されてるから大丈夫。 #techfielders
- Windows Server 2008 R2 HPC Edition (x64) – DVD (Japanese) を technet, MSDN 入手する方は 2,738 (MB)、そして SP1 も必要っす。 // HPC は CAL不要 #techfielders
- 会場の後ろのほうで、舌打ちするオッサンがいるが、、何に対して舌打ちなんだｗ
- 高添さんの blog に無人応答ファイル unattend.txt を置いておきますとのこと。 // ワタシも今後 unattend.txt を公開しようと思ったです。 #techfielders
- 連れがヤニ外出から戻ってきてない。ここを見せたかったのにｗ
- ちなみに、ワタシの Hyper-V 環境では 30分くらいかかった覚えがあります。 i7-2600k RAM 16GB で。 #techfielders
- hpc リソキサイトから Hyper-V ゲストで HPS 環境の料理法が公開されてるとな！ #techfielders
- 休憩タイム #techfielders
- ちなみに、TESLA CUDA な資料は公開されてますけど。 #techfielders
- 佐々木さん、有難うございます。 #techfielders
- DCR Design Change Requests を出して Chenge Nodes 改善へ、 80 Groups 以上の対応、階層化対応など #techfielders
- Nodes group に nodes add / delete パフォーマンスが悪いって、、昔のイケてない CDN nodes みたいｗ #techfielders
- @ikura_bot ハーイ！
- 残念ながら Linux でのベンチマーク数が有効となった。 #techfielders
- ノード数を増やしてもリニアに処理性能は増えない・・・。 なんか、夜中にガクんと落ちた。。。 #techfielders
- １ぺたふろっぷす #techfielders
- 電源プランは【バランス】が おススメとな！ #techfielders
- 電力制限はCPU に行い、GPU はアペンドしないように動作させ、LargePage 使用するしないでベンチマーク採取。なかなか面白いな、6月の ComputexTPE でも実演しそう NVIDIA がｗ #techfielders
- NVIDIA TESLA のお話 (GPU) #techfielders
- 電力消費と性能のトレードオフ #techfielders
- SL390 優秀だな。こないだゴミ回収へ出した DL390 と大違いｗ #techfielders
- 昔、コスタリカ産の pentium2 を指名買いしたのを思い出した。バラつき・・・ #techfielders
- 760GF から 1010GF って、バラつき多いな。 #techfielders
- 6core xeon -> 24 threads, HT OFF に出来ない、Over subscription にケアしながら運用。 #techfielders
- 確かにバラつきあるわな。うちの 16 nodes の為替予測マシンもバラつきだらけ。 #techfielders
- ベンチマーク取得マシンの IE には JRE (Java Runtime Environment) や Google toolbar が入っていたと。 1,400 nodes すべてに #techfielders
- おおお、Linux / Windows を Dual Boot で切り替えていたのか、、スパコン ベンチマーク取得。 #techfielders
- TSUBAME 2.0 （スパコン) アーキテクチャには Linux / Windows と書いているが、OS には Linux だけとなっている不思議。 // 多分、 HPC が乗ってて上に Linux があるからではないかと？妄想 #techfielders
- 大岡山 TSUBAME 2.0 Windows 利用の手引き → http://tsubame.gsic.titech.ac.jp/docs/guides/tsubame2_win/html/index.html #techfielders
- あの TSUBAME 2.0 で HPC Server が動いてた。 1,400 Nodes 弱 、全全力疾走しました私ではなく、Windows が。 #techfielders
- MSKK 佐々木さん登壇なう。 #techfielders
- Ustreamの「Microsoft TechFielders」にチェックイン! http://ustre.am/x0pL
- Dryad をするには Windows HPC が必要だから止めましょう → やりましょう。 #tf
- 小指が麻痺ってきたので、小指を上げてドリンクをいただく。。
- http://www.microsoft.com/japan/powerpro/mdf_reg/survey/thankyou/default.mspx Developer Forum 2011 参加案内 （TF にてアナウンスなう)
- Hadoop じゃなきゃダメなんすか？ MSFT HPC / TF セミナ会場なう。 #mskk #techfielders #tf
- 腋臭エレベーター上り 31Fなう。
- ホンモノそっくり RT @lake_side_sp: 旅行カバンやスーツケースでLV持ち歩く人って、盗んで下さいって言ってるよな（ちょっと妬み）まぁ免税で何度も悩んでますけど..
- 今夜は傘が要るのか。ふむ。
- ooops! RT @finance_news: ソニー：ネットワークにハッカー侵入−7500万人分の情報盗まれた恐れ http://bit.ly/eQiDAW #finance_news
- 同時に使用できない機能を使用中。あとで、TSC10円リンクをクリックしたい。
- 節電で真っ暗な車内だけど、外来光が暑く眩しい。気分は南国。国鉄 総武線各停 千葉行き、中野駅停車長すぎｗ
- こんにちわん RT @nothing_joker: @yukio_saitoh おはようございますー。
- いや快速遅延影響か。各停も遅くなってきた。やっと中野駅。予定では目的地なんだけど。
- 我が総武線各停が中央線快速をバンバン抜かしてる。何かあったんだな快速。
- めちゃ暑い。天気良いね
- やっとヤクが効いてきた。さて、お出掛け準備とな。
- ペットボトルのキャップ開栓が厳しい。悔しい。
- 右手人差し指、小指が痺れる。痛みは無い。日に日に運動機能が低下していく。悲観してはいけないと自分に言い聞かせる。痺れにはメチコバールを服用。痺れの後には痛みが襲ってくるから、ボルタレンを服用。 タッチスクリーンキーボードがあって良かった。
- おっはー
- 地震の二日後に公開された動画。。。 ⇒ http://www.microsoft.com/showcase/ja/jp/details/c1075652-fc49-4530-88ec-5b141ff2fd20
- 速報おせーよ
- おおおおお、グラグラ
- 設計妄想終わり。では行ってきます！
- 出掛ける前に妄想：自炊⇒帳票形式になるのであればTableへ取り込み⇒外部データ参照させ OLAP 対応⇒REST 公開。 ふむ、ふむ。
- さてと価格安いバスプラな SEIYU 荻窪店 へ 298円弁当を買いに行きます。コンビニ弁当より旨くてボリュームがあって、価格は半値。しかも消費期限付近になると半額セール。 #seiyu #ogikubo #suginami
- 明日午後は SGT MSKK ‘ [Tech Fielders セミナー 東京] Hadoop じゃなきゃダメなんですか？ 身近な Windows で大規模並列分散処理 ‘ を受講します。 KVS を考えたら無難つか流行なのでエンジニアなら知っておきたいテーマ。
以上