| 担当 | Nie |
| 記載日 | 2008/10/12 |
| 原文 | http://myeve.eve-online.com/devblog.asp?a=blog&bid=589 |
| コメント | Eveで使用しているサーバ関連の技術的な情報です。 |
My node was equipped with the following...
投稿者：CCP Mindstar 2008.10.06 17:40:24
皆さんこんにちも！
我々がここ２，３週間行っていた事についてDev Blogに書き加えようと思います。
そして、Tranquility サーバのクラスターに何が起こっているのかもお知らせ致します。このIssueはStacklessIO、64bit EVEへのアップグレードと関係しています-、そして我々が目指している内容についても触れていきます。
そして、Tranquility サーバのクラスターに何が起こっているのかもお知らせ致します。このIssueはStacklessIO、64bit EVEへのアップグレードと関係しています-、そして我々が目指している内容についても触れていきます。
1x EVE Server Cluster
EVEサーバのクラスターは、３つ層に分かれています。時に専用用語が飛び交いますが（下記にも）実際は結構簡単に説明できる内容です。
Proxy Blades
EVEサーバークラスターのPublicに面している部分です。これらはクラスターの空きをプレイヤーの接続またはプレイヤーのコミュニケーションを確立させるために使用されます。
EVEサーバークラスターのPublicに面している部分です。これらはクラスターの空きをプレイヤーの接続またはプレイヤーのコミュニケーションを確立させるために使用されます。
SOL Blades
Tranquilityの馬力になる部分で、我々の現在の焦点でもあります。このクラスターは、90~100枚ごとに分割され、それぞれ2つのnodeを走らせています。
Nodeとは単一のEVE Server Processです。これはクラスターの中で最も下部レベルのプロセスです。
Tranquilityの馬力になる部分で、我々の現在の焦点でもあります。このクラスターは、90~100枚ごとに分割され、それぞれ2つのnodeを走らせています。
Nodeとは単一のEVE Server Processです。これはクラスターの中で最も下部レベルのプロセスです。
Dedicated SOL Blade
これは私たちが一つの星系だけに割り当てているSOL Bladesです。Jita,Motsu、およびSaliaのような星系です。他のSOL Bladeと同様に2つのNodeを走らせていますが、2つ目のNodeは現在Idle中で稼動していません。
これは私たちが一つの星系だけに割り当てているSOL Bladesです。Jita,Motsu、およびSaliaのような星系です。他のSOL Bladeと同様に2つのNodeを走らせていますが、2つ目のNodeは現在Idle中で稼動していません。
Database Cluster
EVE Onlineの永続的な層です。走っているNodeは、Databaseと頻繁にやりとりをおこない、もちろんゲーム内で行うほとんどすべての事がここに集約されています。われらのRamSan(シリコンを用いた記憶媒体)のおかげで、我々のDatabaseはTranquilityが生じさせる膨大な入出力の負荷についていくことができます。
ピーク時には我々のDatabaseは2,000 transaction per seconds以上（1秒間に2000ユーザが出した命令や反応、その他行動等）の速度で処理を行い、またそれらは、38,000IOPS(毎秒入出力処理)を生じさせます。この負荷に追いつくために、私たちは現在2つのRamSanを用いています。
EVE Onlineの永続的な層です。走っているNodeは、Databaseと頻繁にやりとりをおこない、もちろんゲーム内で行うほとんどすべての事がここに集約されています。われらのRamSan(シリコンを用いた記憶媒体)のおかげで、我々のDatabaseはTranquilityが生じさせる膨大な入出力の負荷についていくことができます。
ピーク時には我々のDatabaseは2,000 transaction per seconds以上（1秒間に2000ユーザが出した命令や反応、その他行動等）の速度で処理を行い、またそれらは、38,000IOPS(毎秒入出力処理)を生じさせます。この負荷に追いつくために、私たちは現在2つのRamSanを用いています。
1x SOL Blade
EVEサーバーアプリケーションそれ自身（Nodeと呼びます）は激しいCPU処理を行います。 そのためStackless Python programming methodologyを使用することは必然でした。それぞれのNodeのPython Componentはシングルスレッドであり、これは一度に一つのCPUコアしか使用できないことを意味しています。
私たちのSOLはIBM製で、ごく最近までAMD Opteron 2.8Ghz Dual Core Processorsと、4GBのDDR1 Ramで稼働していました。ここ6カ月ほど、私たちはOpteron（CPU）をより強力なものへ進歩させるよう動いていました。我々はいつくかのdual socket,dual core Intel Xeon 3.0Ghz Woodcast bladesを選択し、テストに不可欠なStacklessIOを使用していました。現在そのStacklessIOはリリースされ、それらのBladesをフル活用し、TranquilityのTest Bladeとして第一段階に入っています。
1x Rapid Deployment
Jitaへ1,400人のプレイヤーがに集まったとき不運なことに、Jitaを担当していたBladeのメモリが不足が起きたという知らせがありました。我々はIntel test bladesをアテにしすぎていたかもしれません。 対応としていくつかのRAMを入れ替え、5つの新しい16GBのDDR2Ramを備えたIntel SOL bladesを実装する準備を行いました。我々はこの試験実装をTranquilityへ先週ほどこし、Dedicated SOL Bladeとして設置しました。安定性を信じてそしてパフォーマンスの向上を期待して見守っていたのです。そしてその夕暮れに、（ロングメンテ後）Jita,Saila,そしてMotsuではパフォーマンスは向上が確認できました。それらのRegionではお祭り騒ぎになりましたが。。。
先週末の間GM達は、一つも「Stuck Character」のPetitionをJitaから受け取らなかったのです！！
先週末の間GM達は、一つも「Stuck Character」のPetitionをJitaから受け取らなかったのです！！
3x Epic Fleet Fights
この土曜日、私たちは、0.0を支えているNodeの一つが致命的な状態になり、まもなく停止してしまうことを確認しました。この問題は断続的に起こっていました。この問題は、本来修正可能であり、現在我々は解決しようと一生懸命働いています。
原因となる理由としては、700人以上のプレイヤーが一つの場所に集結している時に起こっています。彼らの居るAMD Nodeは、クラッシュしつづける以外に何かできることはありませんでした。我々は試験的な意味でも、その問題のある星系をIntel Bladesへと再配置しました。Jitaは昨晩よりも良いパフォーマンスを見せました。我々はこれらのNodeが艦隊戦をよりうまく処理してくれるだろうと考えています。このシステムは持ちこたえ、停止という事実は噂の如く、過去の歴史となりました。
原因となる理由としては、700人以上のプレイヤーが一つの場所に集結している時に起こっています。彼らの居るAMD Nodeは、クラッシュしつづける以外に何かできることはありませんでした。我々は試験的な意味でも、その問題のある星系をIntel Bladesへと再配置しました。Jitaは昨晩よりも良いパフォーマンスを見せました。我々はこれらのNodeが艦隊戦をよりうまく処理してくれるだろうと考えています。このシステムは持ちこたえ、停止という事実は噂の如く、過去の歴史となりました。
日曜日の夜ではM-OEES星系はホットスポットでした、そしてM-OEESは前もってIntel 64Bit Dedicated SOL Bladeに割り当てらていました。それは、450人以上のプレイヤーによるピーク時でも十分に耐えれました。
月曜日の夜に、1000人以上のプレイヤーがこの星系で戦闘を始めようとしました。日曜日の如く、私たちはそこで我々での戦いも起こると予想しました、そしてその星系はDedicated nodeへと割り当てられましたが、不幸なことに700人のプレイヤーを抱えるAMD BladeがNode Crashを起こしたことによって、私たちのIntel Bladeは1,200人以上をとらえようとしてクラッシュしました・・・。ですが興味深いことに、クラッシュしたにも関わらず多くのプレイヤーが、この1000人を抱えたBladeのパフォーマンスがshutdownの１０～１５分前には、とても良いパフォーマンスを示していると報告があったのです。
私はCCPがこの事実に対してとても興奮しているということを強調したいと思います。そして我々は希望でいっぱいです。なぜならいったんこれらのノード死を引き起こす問題が解決できれば、今後この印象的な素晴らしいパフォーマンスを皆さんに提供できるからです。多くの人々が、新しいテクノロジーのためにとてもハードな仕事に入りました、そしてそれらはプレイヤーの皆さんに対してうまく提供できていると思っています。
さて・・・次なる目標は・・・
私たちはこれらのアップグレードを完全に終わらせたわけではありません。まだ多くのすべき仕事があります。ここ最近の2週間、我々はいくつかの新技術の準備をしています。そして我々は現在、すべての人々が利益を得るための最も良い方法のために開発しています。
新しく、そして速いBlades
3.0Ghz Intel Woodcrest Bladesは好調ですが、このプロセッサ技術はWolfdaleにとって変わるでしょう。Wolfdaleはさらにパワフルです、我々はいくつかのintel Xeon 3.3Ghz Wolfdale Bladesを急遽注文しました。我々はこれらをすぐにClusterに組み込むよう考えています。そしてこれらが我々により大きなパフォーマンスの増大を与えるだろうと予測しています。それによりTranquility Clusterへの道を開かれるでしょう。現在購入することを検討しているハードウェアは、HPC（High Performance Computing＝高機能計算）が出来る時代までの間に見るであろうハードウェアであるという意識をする価値はあることでしょう。このプロジェクトの進捗に関しての詳細なプレゼンテーションは、11月のFanfestaで行われる予定です。
皆さんを助けるために、私たちを助けてください
私たちが、新しいハードウェアを得るということは良いことです、しかし、そこには私たちがHPCのハードウェアをアップグレードするまで、すこし時間があります。この間、艦隊戦闘システムをDedicated Nodeへ置くためにDowntime中に実施しようと思っています。我々はプレイヤーがどこにクラッシュの原因を作るか予測できるわけではないため、どの星系に艦隊戦、または大規模な行動があるのかを知らなければなりません！私たちは、プレイヤーが直接Virtual World Operation teamにこの情報を伝えるための方法を確立し、実施しています。コープの Directors（各コープのCEOまたは幹部）は、大規模艦隊戦やその他の計画された作戦をPetitionするよう求められます。（24時間以上前にStuck Characterのカテゴリで行ってください。参加する人数もそれぞれ何名づつなのかの見積もりを含んでください）それがあれば我々はDowntimeの間に、星系をDedicated Sol Bladesに割り当てるよう作業します。（これによりクラッシュ等のトラブルが回避できる仕組み）
最後に、この一連の出来事に対して一個人的な考えを残しておこうとおもいます。
This is EVE Online!
Impossible is nothing!
Impossible is nothing!
※上記ラスト文について：これはEve Onlineなんだ、不可能なことは何もない！！
まさにその通り、素晴らしきはEve開発者。我々プレイヤーはもっと彼らを尊敬し協力すべきカモカモ。（私見）
まさにその通り、素晴らしきはEve開発者。我々プレイヤーはもっと彼らを尊敬し協力すべきカモカモ。（私見）
