劔"Tsurugi"は、新しいハードウェアのアーキテクチャに合うRDBMSとして開発を行っています。 CPUは微細化が限界に達し、メニーコア化を進めており、一方で、メモリーデバイスも高機能(不揮発性メモリーの登場)・高密度化(メモリー容量の伸張)が進んでいます。
既存のRDBMSは、"コア数が少ない"、"メモリー容量は制限的である"という前提で作られており、基本的なアーキテクチャの思想としては永らく変わっておらず、新しいハードウェアアーキテクチャ(メニーコア・大容量メモリー)で性能を発揮しづらくなっています。 劔"Tsurugi"は、新しいハードウェアアーキテクチャに合わせた設計思想に基づいて開発され、その上で性能を最大限に発揮するデータベースです。
劔"Tsurugi"の特徴
▽世界最速レベルの性能
劔"Tsurugi"は、従来のRDBに比べて書き込み性能に強く、In-memory/many-coreで性能がスケール(特にcore数に応じてスケール)するため、高い処理性能を発揮します。
1ノード112コアの環境で、約 525 万TPSと 190 ナノ秒の応答遅延を達成するとともに、他のコア数においては、32コア以上の環境で、一貫性を担保した実用前提のデータベースとしては世界最速レベルの応答性能・データ転送量(スループット性能)を達成しました。
計測結果から、ハードウエアの性能が向上するほどシステムの性能が高まる、次世代のデータベース向けと言える特性となります。
▽バッチ/オンラインの併用可能で夜間バッチが不要に
劔"Tsurugi"の世界最高レベルの処理性能に加えて、一貫性を担保した上で高速なバッチ処理を行い、その上で短時間で処理が完了するショートトランザクションの併用を可能にしました。
これにより、従来のようにバッチ/オンラインを分けて運用する必要がなくなり、夜間バッチが不要となります。
劔"Tsurugi"は産業技術総合開発機構(NEDO)の支援を受け開発されています。
詳しくは下記をご覧ください。
https://www.nedo.go.jp/news/press/AA5_101671.html
実運用を想定した検証例
劔"Tsurugi"の実運用を想定した検証では、次世代データベースのユースケースとして想定される4つの領域(画像処理、超大規模データ解析、業務管理、災害対応)において、4事業者の協力のもと、管理、収集、解析するシステム基盤に劔"Tsurugi"を使用し、検証を行いました。
① 原材料の計算・シミュレーションに適用で為替の変動にも対応 ― 業務管理:生産性向上への適用(株式会社アンデルセンサービス) ―
劔"Tsurugi"を用いることで、為替の変動や原材料のコストの変化といった状況に応じて算出された予想の数値(原価や利益)を意思決定に生かすことができ、より正確で適切な製品・サービスの製造、リリースが期待できる検証結果が得られました。 また、原価計算バッチでは、分散処理のSparkで約50分かかっているところ、劔"Tsurugi"では25分の1となる約2分間で終了することが検証の結果、確認されました。
② 点群データ解析による新しい方式の混雑状況把握 ― 画像処理:IoTデータのリアルタイムDBにおける運用(62Complex株式会社) ―
施設内に設置されたLiDARカメラによって得られる大量の点群データの格納および解析に適用しました。 点群データによる人流解析は、個人情報保護の観点から今後の情報社会において活躍することが期待される技術の一つですが、データ量と処理エネルギーが膨大となります。 劔"Tsurugi"を用いることで、個人情報の取得なしに、 ・容積当たりの密度計算が可能 ・リアルタイムな状況確認 ・時系列による過去情報 ・過去と現在の状況からの差分分析 などを行うことで、将来の予測につなげることができます。 実際、通常ではデータ処理の取り込みがバッチ処理であるのに対して、劔"Tsurugi"を使用すると、リアルタイムで継続的にデータ処理・取り込みができることを確認しました。これにより、膨大なデータの格納、解析が高速化、効率化され、リアルタイムでの処理が可能になりました。
➂ 大量のデータを用いた探索的データ分析(大規模データ解析) ― 超大規模データ解析:e-Scienceへの適用(大学共同利用機関法人 自然科学研究機構国立天文台) ―
宇宙空間における数百テラバイトにおよぶ観測データ(ビッグデータ)の処理に適用しました。 具体的には、観測データや分析結果を利用するデータクレンジング処理、全データからデータ検索に必要な情報を抽出して展開する処理、さらには、実際の研究実施において要求されるデータ分析を、劔"Tsurugi"の導入を前提として分散処理を実施しました。 劔"Tsurugi"を用いることで、従来システムに対して、分散クラスターでの速度の向上(10-100倍)の有効性が確認されたことから、今後の劔"Tsurugi"の分散ノード化を進めます。
④ 大規模災害発生後の初動・応急対策段階における情報整理のためのプラットフォームに適用 ― 災害対応:災害発生後の初動・応急対策段階での活用(株式会社パスコ) ―
航空機による膨大な空間情報の収集データを利用した検証で、登録・処理時間などの大幅な短縮につながることを確認しました。 災害対策アプリケーションにて、劔"Tsurugi"を使用することで、 ・オブリークカメラ画像による3DTin生成時間短縮 ・自動オブジェクト抽出による付加情報抽出 が可能となり、初動段階から応急段階における広域な情報およびプラットフォームの提供を迅速化にしました。 今後、地震などの大規模災害発生後の初動・応急対策段階における情報整理のためのプラットフォームへの適用・活用が期待できます。 >>詳細はこちらをご覧ください(PDFが開きます)
ダウンロードについて
劔"Tsurugi"は現在、オープンソースにて公開中です。GitHubよりダウンロードいただきご使用ください。
> 劔"Tsurugi" GitHub ページ
また、劔"Tsurugi"について解説した書籍も現在発売中です。 是非、ご参考ください。
お問い合わせ
劔"Tsurugi"に関する問い合わせや、劔を利用したPoCや共同実証を行いたいなどのご相談は、下記のフォームからお問い合わせください。 > 劔"Tsurugi" お問い合わせフォーム
また、商用サポートのお問い合わせも、上記のフォームより受け付けております。 是非ご活用ください。