【HinemosWorld2014】A1-2_ルールエンジンを使った運用管理自動化のすゝめ

2,781 views

Published on

本資料は、2014/12/4(木)、12/5(金)に開催いたしました「Hinemos World 2014」の 講演資料となります。
イベント詳細については 下記Hinemosポータルサイトをご覧ください。
http://www.hinemos.info/seminar/HinemosWorld2014

Published in: Technology
0 Comments
4 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
2,781
On SlideShare
0
From Embeds
0
Number of Embeds
1,657
Actions
Shares
0
Downloads
24
Comments
0
Likes
4
Embeds 0
No embeds

No notes for slide

【HinemosWorld2014】A1-2_ルールエンジンを使った運用管理自動化のすゝめ

  1. 1. 1 2014年12月4日 株式会社アトミテック ルールエンジンを使った運用管理自動化のすゝめ Copyright (c) 2014 Atomitech CORPORATION
  2. 2. アトミテックからのご提案 ルールエンジン技術を活用して、 システム運用の効率化・省力化を実現し 運用管理自動化を目指しましょう Copyright (c) 2014 Atomitech CORPORATION 2
  3. 3. 運用管理(現状) 運用監視ツール インシデント監視ツール 運用 経験則手順書 ノウハウ 通知 運用管理者 システム外 情報 開発・システム管理者 インシデント 操作 情報 3  情報が多すぎる  問題の切り分け、対処に時間がかかる  人による判断が必要  属人的なノウハウ  人による操作が必要 効率化・省力化 が必要 ルールエンジン 技術の活用 Copyright (c) 2014 Atomitech CORPORATION
  4. 4. ルールエンジンについて Copyright (c) 2014 Atomitech CORPORATION 4
  5. 5. ルールエンジンとは 与えられたデータに対し、「分岐処理(IF文処理)」が記述さ れたルールを自動解釈し実行するためのエンジン BRMS(Business Rule Management System)製品群の中心と して使用される技術 BRMSとは ルールを管理するシステムで主に以下の機能で構成される ルール作成・編集機能 ルールの管理・保管機能 ルールの実行機能(ルールエンジン) Copyright (c) 2014 Atomitech CORPORATION 5
  6. 6. ルールエンジン動作概要 Copyright (c) 2014 Atomitech CORPORATION 6 ルールエンジン 推論エンジン パターン マッチング ルール 実行 ルール ルール ファクト ルール ルール ファクト ファクト アクティベーショ ン アクティベーショ ン マッチング結果 ルール ファクト ルール実行指示 アプリケー ション •ルールエンジンにルールを格納 •ルールエンジンにファクトを挿入 ルール エンジン •ファクトが挿入されたタイミングで推論エンジン により、ファクトとルールの条件をマッチング •マッチしたルールとファクトをマッチング結果とし て保持 アプリケー ション •ルール実行を指示 ルール エンジン •マッチング結果のルールのアクションを実行 •アクションによりファクトが更新された場合、すべ てのファクト、ルールに対しマッチングが行われ る 動作概要 Drools(フォワードチェンイング)の場合 •ルールで処理するデータ ファクト •条件とアクションを記述 ルール •ルールエンジン用アルゴリズム •ファクトとルールの条件マッチングを行う 推論エンジン
  7. 7. ルールとは アプリケーションから分離された条件とアクション 従来のシステム開発において、業務要件やシステム仕様といったプ ログラム上にハードコーディングした部分 再利用や組み合わせによる使用が可能 更新をアプリケーションと独立して行うことができる エンドユーザが定義可能な書式により定義可能 専用ルール言語やExcelシート等 Copyright (c) 2014 Atomitech CORPORATION 7
  8. 8. ルールとは ルール言語 If –Then構造 ○○○ならば(条件)、△△△△する(アクション) 例: もし「初めての顧客」ならば、「メンバー登録を勧誘」する。 もし「頭金が20%以上」ならば、「長期プランAを推奨」する。 もし「預貯金額が1000万以上」ならば、「オプションBを推奨 」する。 もし「勤続年数が1年以下」ならば、「課長の承認を取得」す る。 Excelシート Copyright (c) 2014 Atomitech CORPORATION 8 rule “ルール名" when //条件 then //アクション end DRL(Drools Rule Language)の場合 If –Then構造はwhen-thenと記述 DroolsのDecision Tableの場合 条件をCONDITION列に定義 アクションをACTION列に定義
  9. 9. ルールエンジン導入のメリット 見える化 •業務担当者と開発者が共通のフォーマットでコミュニケーションできる透過性の 高いシステムを実現 •可視化することでより正確なビジネスサービスを実現 変化に簡単・迅速に対応 •業務担当者がアプリケーションのルールを直接実装できる •簡易なルール言語、Excel等、プログラミング知識がなくても利用可能 •仕様の変化に迅速に対応 開発工程の効率化 •プログラムのコンパイル・デプロイ作業が必要ない(ルールエンジンによる自動 化) •仕様≒実装 Copyright (c) 2014 Atomitech CORPORATION 9
  10. 10. ルールエンジン導入のメリット(まとめ) アプリケーションとルールの分離を実現 アプリケーションの柔軟性が高まる Copyright (c) 2014 Atomitech CORPORATION 10 ルールエンジンを利用することで、ルールの実装が簡単にな り、頻繁に変更される環境やビジネスの変化に伴うアプリ ケーションの変更に迅速に対応する事が可能となります
  11. 11. OSSで提供されている製品 ルールエンジン DTRules http://dtrules.com/wiki2/index.php ASL2.0 のルールエンジン。デシジョンテーブルとDSL(ドメイン記述言語)でルールを記述。 Jamocha http://sourceforge.net/projects/jamocha/ Apache ライセンスのルールエンジン。 JLisa http://jlisa.sourceforge.net/ GPLv2のルールエンジン。JSR94準拠 Mandarax https://code.google.com/p/mandarax/ GPLv3のルールエンジン。フォワードチェンイングではなく、バックワードチェンイングに基づいたルールエンジン BRMS Drools(JBossRules) http://www.drools.org/ JBossが開発しているASL2.0のBRMS Red Hat JBossBRMS:Droolsを使用した商用製品 OpenRules http://openrules.com/ GPLのBRMS 商用ライセンスあり OpenLTablets http://openl-tablets.sourceforge.net/ LGPLのBRMS テーブル形式、ツリー形式などでルールを記述可能 エキスパート・知識ベース CLIPS C Language Integrated Production System(CLIPS)-1984年にNASAのJohnson宇宙センターで生まれたエキスパートシステム開発ツール d3web ドイツ製、Javaで書かれた)知識ベースシステム その他 Apache Jena http://jena.apache.org/ セマンティックWebのアプリケーションを作るためのJavaのフレームワークで、ルールエンジンも含む Copyright (c) 2014 Atomitech CORPORATION 11
  12. 12. 商用BRMSの製品 IBM Operational Decision Manager(IBM ODM) http://www-03.ibm.com/software/products/ja/category/operational-decision-management IBMのJava対応BRMS。旧ILOGのJRulesとイベントプロセッシングの機能を持つWebsphereBusiness Events とを統合した製品。 SAP NetWeaverBusiness Process Management http://scn.sap.com/community/brm SAPのBRMS Oracle Policy Automation http://www.oracle.com/technetwork/apps-tech/policy-automation/overview/index-087567.html ORACLEのBRMS InRule http://www.inrule.com/ .NetベースのBRMS Visual Rules https://www.bosch-si.com/products/business-rules-management-brm/visual-rules.html Bosch Software InnovationsのBRMS。ルールをグラフィカルに表現するのが特徴。 BlazeAdvisor http://www.fico.com/en/Products/DMTools/Pages/FICO-Blaze-Advisor-System.aspx FICOのBRMS。 Progress CorticonBRMS https://www.progress.com/products/corticon 比較的新しいBRMS。分かりやすい開発環境が特徴。 Sparkling Logic SMARTS http://www2.sparklinglogic.com/product/managing-smarts-decisions/ BRMSの新鋭。最新アルゴリズムを搭載。 Copyright (c) 2014 Atomitech CORPORATION 12
  13. 13. BRMSの活用事例 新商品の容易な追加、審査基準の迅速な変更、タイムリーな キャンペーン実施など、ルールを柔軟に構成するために BRMSを活用する事が多い 金融(保険業) 保険商品の管理、新契約査定業務、保険支払業務、自動車保険申込受付 ・見積(ネット損保)業務など 通信サービス業 料金計算(課金)、サービス商品管理、サービス障害分析など 製造業 受注処理、製品機能構成レコメンデーション、製造処理制御など 小売・流通業 Webショッピング、顧客優待サービス、手当・手数料管理など Copyright (c) 2014 Atomitech CORPORATION 13
  14. 14. 事例:北陸コカ・コーラ 適用: 業務プロセスおよびビジネスロジックの構築にRed Hat JBossBRMSを採用 BRMS採用のポイント: システムに組み込みたい業務プロセスのルールをフロー図上で作成でき、 開発時のプログラミング作業を極力なくすことが可能で保守も容易な点。グ ラフィカルツールでそれらが定義出来る点 商用の顧客管理パッケージを採用するより、2~3割のコスト削減が可能 14 出典:http://itpro.nikkeibp.co.jp/article/COLUMN/20120709/407821/ ルールの適用個所: 課題であった名寄せ処理でルールエンジンを 利用 お客様登録の重複が多く、請求書発行や案内 状の二重発行が絶えず、本来不要であるコスト やお客様への迷惑が掛かっている。 対策 原因の根本は営業が入力するデータの精度が 悪いことであるため、入力データに対して「名寄 せ処理」を行い、間違ったデータの登録をしない 仕組みにする。 手法 ルールエンジンを利用し、入力する会社候補に 点数を与える仕組みを作成。 営業が入力した内容に対して、得点の高い候補 を画面に出力させ、その中から選ばせる。 Copyright (c) 2014 Atomitech CORPORATION
  15. 15. 運用管理にルールエンジン Copyright (c) 2014 Atomitech CORPORATION 15
  16. 16. 運用管理(現状) 運用監視ツール インシデント監視ツール 運用 経験則手順書 ノウハウ 通知 運用管理者 システム外 情報 開発・システム管理者 インシデント 操作 情報 Copyright (c) 2014 Atomitech CORPORATION 16
  17. 17. 運用管理(自動運用管理機能導入) 通知 運用管理者 システム外 情報 開発・システム管理者 インシデント 操作 情報 自動運用管理機能 判断 操作 手順実行 運用手 順書 経験則 ノウハウ 操作・情報 取得 インシデント登録 17 ルールエンジン 技術の活用 運用監視ツール インシデント監視ツール Copyright (c) 2014 Atomitech CORPORATION
  18. 18. 自動運用管理機能で行うこと 運用手順の自動実行 判断の自動化 操作の自動化 18 ルールエンジン 情報が多すぎる 問題の切り分け、対処に時 間がかかる 人による判断が必要 属人的なノウハウ 人による操作が必要 運用管理における問題点 Copyright (c) 2014 Atomitech CORPORATION
  19. 19. 期待できる効果 運用手順の自動実行 判断の自動化 操作の自動化 19 ルールエンジン 通知・インシデントの減少 人による判断、操作が必要な通知・ インシデントの減少 ノウハウの蓄積 運用手順書だけでなく、属人的なノ ウハウも自動化し一元管理 ミスの減少 運用管理者による確認・操作を減ら す 人為的なミスを排除 人が判断し処理すべき作業に集中 できる 効果的な運用が可能 •コストの低下 •品質の向上 •インシデント対応の高速化 運用管理自行化で期待できる効果 Copyright (c) 2014 Atomitech CORPORATION
  20. 20. ルールエンジン機能を持った 自動運用管理機能の適用例 運用状況: •DCのマルチテナント環境で運用管理ツールからアラート情報を運用管 理者にメール通知している •運用管理者はアラート情報の内容を判断して、顧客担当者および顧客 へメール通知を行っている 課題: •重要度が低い顧客システムで、大量にアラートが発生すると、メール通 知が運用管理者に大量に送られる •この時、重要顧客システムでアラートが発生しメール通知が来ても、大 量メールに埋もれてしまい、重要顧客へのメール通知が遅れてしまう Copyright (c) 2014 Atomitech CORPORATION 20
  21. 21. 重要顧客 重要顧客 適用例:適用前(通常時) ログ収集ツール 運用 手順書 運用管理者 顧客 21 顧客担当者 監視対象 監視対象 監視対象 監視対象 監視対象 監視対象 ある顧客のシ ステムで障害 発生! 障害を検知して アラート情報と してメール通知 運用管理者はメールの内容を確 認し、顧客や顧客担当者へメー ルを送信 重要顧客の監視対 象でも障害発生 アラート情報を受 け取る アラート情報を受 け取る Copyright (c) 2014 Atomitech CORPORATION
  22. 22. 重要顧客 重要顧客 適用例:適用前(問題発生時) ログ収集ツール 運用 手順書 運用管理者 顧客 22 顧客担当者 監視対象 監視対象 監視対象 監視対象 監視対象 監視対象 ある顧客の重 大なシステムで 障害発生! 障害を検知してアラート 情報として大量にメール 通知 運用管理者の処理が間に合 わず大量のメールが蓄積 重要顧客の監視 対象でも障害発生 重要顧客のアラー ト情報が埋もれる 大量のアラート情 報を受け取る アラート情報を受け取 るまで時間がかかる Copyright (c) 2014 Atomitech CORPORATION
  23. 23. 運用管理への適用 解決策: •アラート情報メールの集約 •同じイベント(同じホストの同じ監視項目で発生したイベント)が発生した場合は、 指定された間隔で集約して通知 •重大エラー発生時の通知停止 •顧客担当者から予め重大エラーが発生した場合に監視を停止する「監視解除 依頼届」を受け付け、該当エラー発生時に監視対象機器の監視を停止 •顧客と顧客担当者へのメール自動送信 •アラート情報の内容を判断し、宛先、件名、本文を設定してメール送信 ルールの適用個所: •メールの集約条件 •監視停止依頼による監視停止判断 •アラートの発生箇所と項目、重要度によるメールの宛先、件名、本文(アラート内 容、担当者の署名)の設定 Copyright (c) 2014 Atomitech CORPORATION 23
  24. 24. 重要顧客 重要顧客 適用例:適用 ログ収集ツール 顧客 24 顧客担当者 監視対象 監視対象 監視対象 監視対象 監視対象 監視対象 運用 手順書 監視解除依頼 運用管理者 自動運用管理 機能 ルール エンジン ルールルールルール Copyright (c) 2014 Atomitech CORPORATION
  25. 25. 25 条件の定義 アクションの定義 監視を解除する アラートを監視項目と重 要度で指定 監視を解除する監視 項目を設定する 判断する項目 アクションの内容 (Javaコード) 判断する項目に マッチする値 アクションの内容 でセットするパラ メータ ルール設定例(監視解除ルール)① Copyright (c) 2014 Atomitech CORPORATION
  26. 26. 適用例:適用 26 rule "Monitor_Control_10" no-loop true when//条件 ei: EventInfo(managerFacilityId== “HINEMOS_MANAGER_003”, //運用監視ツールID facility_id== “DB_SERVER_001”, //ファシリテイID monitor_id== “DB_PING”, //監視項目ID priority_num== “0”)//重要度 act: ActionFlg(flg== "0") then//アクション //停止するプラグインID,監視項目ID(1) SetValidMonitorActionInfomonitorActionInfo = new SetValidMonitorActionInfo($ei.getManagerFacilityId()); monitorActionInfo.setMonitorTypeId(“MON_PNG”);//プラグインID monitorActionInfo.setMonitorId(“DB_PING”);//監視項目ID monitorActionInfo.setValidFlag(false); sysActInfoList.add(monitorActionInfo); //停止するプラグインID,監視項目ID(2) ・ ・ ・ end ルールエンジンにより 1行1ルールとして変換 される Copyright (c) 2014 Atomitech CORPORATION ルール設定例(監視解除ルール)②
  27. 27. 重要顧客 重要顧客 適用例:適用後 ログ収集ツール 顧客 27 顧客担当者 監視対象 監視対象 監視対象 監視対象 監視対象 監視対象 運用 手順書 監視解除依頼 自動運用管理 機能 ルール エンジン 監視解除 運用管理者 ある顧客の重 大なシステムで 障害発生! 重要顧客の監視 対象でも障害発生 障害を検知してアラート情 報として大量にメール通知 ルールルールルール 監視の停止によるア ラート発生の抑止 アラート情報を受 け取る 同一アラート 情報の集約 メール自動送信 遅延なくアラート 情報を受け取る Copyright (c) 2014 Atomitech CORPORATION
  28. 28. 28 項目 値 運用HinemosID HINEMOS_MANAGER_003 ファシリティID DB_SERVER_001 重要度 0 プラグインID MON_PNG 監視項目ID DB_PING 発生日時 2014/12/4 14:35:10 メッセージ Packets: Sent = 1, Received = 0, Lost = 1 (100% loss), 項目 値 運用HinemosID HINEMOS_MANAGER_003 監視項目ID MON_PNG 監視種別ID DB_PING 有効/無効 無効 アラート情報ファクト 監視制御情報ファクト アラート情報にマッ チするルール 項目 値 運用HinemosID HINEMOS_MANAGER_003 監視項目ID MON_SNMP 監視種別ID DB_SNMP 有効/無効 無効 項目 値 運用HinemosID HINEMOS_MANAGER_003 監視項目ID MON_PRC 監視種別ID DB_PROCESS 有効/無効 無効 項目 値 運用HinemosID HINEMOS_MANAGER_003 監視項目ID MON_PRT 監視種別ID DB_PORT 有効/無効 無効 ルール動作例(監視解除ルール) Copyright (c) 2014 Atomitech CORPORATION 停止する監視項目 情報の作成
  29. 29. アトミテックの取り組み  2つの方向性でソリューションを検討中 29 インシデント監視 ツール 自動運用管 理機能 ルール エンジン リポジトリ 監視 ジョブ 性能 Hinemosの機能拡張 各種運用管理 ツールインシデント監視 ツール 自動運用管理 機能 ルール エンジン 自動運用管理 ツール 独立した自動運用管理ツール Hinemosに限らず各種の運用管理ツー ルからの情報を集約し、ルールエンジン により的確な判断を施し、運用の自動化 を目指すソリューション ルールエンジンによる的確な判断機能 をHinemos自身に組み込み、運用の自 動化を目指すソリューション ご期待ください!! Copyright (c) 2014 Atomitech CORPORATION
  30. 30. まとめ ルールエンジン技術を活用すれば、 システム運用の効率化・省力化が可能になり、 運用管理の自動化を目指す事ができます 30 アトミテックと一緒に運用管理自動化を目指しませんか? アトミテックの取り組み、運用管理自動化にご興味がある お客様がいらっしゃいましたら、是非ご相談下さい! Copyright (c) 2014 Atomitech CORPORATION
  31. 31. その他アトミテックの取り組み Copyright (c) 2014 Atomitech CORPORATION 31
  32. 32. 会社概要 社名 株式会社アトミテック 設立 2004年07月01日 営業拠点 東京本社 山口本社 福岡営業所 Copyright (c) 2014 Atomitech CORPORATION 32 Hinemosビジネスへの取り組み 移行・ 構築 保守 開発 Hinemosにする幅広い ソリューションをご提供 いたします。
  33. 33. Hinemos関連サービス Copyright (c) 2014 Atomitech CORPORATION 33 移行・構築 最適なHinemos環境を 提供します。 保守 年間1,000件を超 えるサポート実績 で、安心を提供し ます。 開発 新たな機能を提供 します。 あらゆるフェーズで 最適なソリューション をご提供いたします。
  34. 34. 保守サポートサービス 年間1,000件を超える問い合わせ対応実績 •おかげさまで、すでに保守サービスをご利用のお客様より年間1,000件を超えるお 問い合わせを頂戴しており、ご支援させて頂いております 低価格高品質の2種類の保守サービスを提供 •年間保守プラン •Hinemosを安心して長期間お使いいただくためのプラン •お問い合わせ対応や障害調査はもちろん、修正モジュールの提供等も行います •個別インシデント保守プラン •必要に応じて問い合わせインシデントを購入しお問い合わせ頂くプラン •初期費用を抑えて保守サポートのご利用を開始したいお客様におすすめです お問い合せの利便性向上 •従来のメールによるお問い合わせに加えて、WEBシステムによるお問い合せが可 能となります(12月中にリリース予定) Copyright (c) 2014 Atomitech CORPORATION 34
  35. 35. 保守サポートサービス お問い合せの登録と対応状況、回答の確認 過去のお問い合せの確認 FAQ(よくあるお問いわせ)の提供 リリース時100件程度登録 順次登録予定 Copyright (c) 2014 Atomitech CORPORATION 35 過去のお問い合せ確認画面 FAQ画面 お問い合せWEBシステム
  36. 36. 保守サポートサービス お問い合せの登録と対応状況、回答の確認 過去のお問い合せの確認 FAQ(よくあるお問いわせ)の提供 リリース時100件程度登録 順次登録予定 Copyright (c) 2014 Atomitech CORPORATION 36 過去のお問い合せ確認画面 お問い合せWEBシステム
  37. 37. 保守サポートサービス Copyright (c) 2014 Atomitech CORPORATION 37 FAQ画面 お問い合せWEBシステム
  38. 38. 運用環境構築サービス お客様のご要望をお伺いし、Hinemosによる運用管理環境の構築を行い ます。Hinemosクライアント、マネージャ、エージェント、そして各オプション のインストール、基本設定等、Hinemosでの運用環境を構築致します。 Copyright (c) 2014 Atomitech CORPORATION 38 運用環境構築サービスの主な流れ ヒアリング お客様のご要望 をお聞かせくだ さい ご提案 ヒアリングに沿っ て最適な構築 サービスをご提 案いたします 設計 環境構築に向け 設計を行います 環境構築 設計に基づき環 境を構築致しま す テスト 構築した環境が 設計どおりかテ ストを行います 引き 渡し お客様へお引き 渡し致します
  39. 39. Atomitech OnCloud Service for Hinemos  アトミテックの豊富なノウハウにより構築したAWS上のHinemosマネージャと 、その維持管理を含めた運用環境をサービスとして提供いたします。  お客様のシステムを管理する為の最適な機能と環境を備えたHinemosをご利 用になれます。 Copyright (c) 2014 Atomitech CORPORATION 39 バックアップ バージョンアップ 保守サポート お客様システム マネージャ お客様クライアント Elastic Load Balancing Web サーバー Web サーバー Web サーバー EC2 EC2 EC2 DynamoDB Memcached 各種テンプレート 死活監視・性能管理 クラウド管理 ジョブ管理 障害通知 パッチ適用 お客様は、Hinemosマネージャーの 環境構築・維持管理を意識すること なく、豊富な機能を利用できます
  40. 40. Copyright (c) 2014 Atomitech CORPORATION 40 ミドルウエア (WEB/AP/DB) Hinemos エージェント ミドルウエア監視用 スクリプト カスタム監視設定 通知 収集 監視対象ノード マネージャ クライアント 監視 性能管理 提供スクリプト ミドルウエア監視用スクリプト
  41. 41. ミドルウェア監視用スクリプト一覧 Copyright (c) 2014 Atomitech CORPORATION 41 ミドルウエア Webサーバ Apache監視用スクリプト APサーバ JBoss監視用スクリプト Tomcat監視用スクリプト DBサーバ PostgreSQL監視用スクリプト Oracle監視用スクリプト MySQL監視用スクリプト 今後もHinemos監視を強化する「ミドルウエア監視用スクリプト」を順次公開予定! 2014年12月現在
  42. 42. 商用運用管理ツールからHinemosへの移行サービス Copyright (c) 2014 Atomitech CORPORATION 42 Hinemosの機能および性能向上 ノウハウの蓄積による効率的な移行 運用管理ツールに かかるトータルコスト の削減を実現します。
  43. 43. ストレージバックアップオプション Copyright (c) 2014 Atomitech CORPORATION 43 バックアップ対象システム バックアップソフトウェア 「NetVault Backup」 ストレージ「DR4100」 バック アップ データ 拡張モジュール ストレージバックアップ オプション 『バックアップソフトウェア』 『バックアップストレージ』 『Hinemos拡張モジュール』 を1パッケージとして提供。 一般ジョブとバックアップジョブの 連携を容易に実現 バックアップソフトウェアの監視 死活監視 プロセス監視 ログ監視 バックアップストレージの監視 死活監視 リソース監視 (容量監視、CPU監視、 メモリ監視など)
  44. 44. 引き続き色々と取り組んで参ります! セミナ、イベント関連 2014年12月18日:アトミテックソリューションセミナ http://atomitech.jp/hinemos/からお申し込みください。 Hinemosのご紹介と、本日ご説明したAtomitechOnCloudServicefor Hinemos、ミドルウエア監視用スクリプト、商用管理ツールからの移 行、ストレージバックアップ等をご紹介。 Copyright (c) 2014 Atomitech CORPORATION 44
  45. 45. ご清聴ありがとうございました ご不明な点等ございましたら、お気軽にお問い 合わせ下さい。 お問い合わせ先 株式会社アトミテック 050-3775-7632 sales@atomitech.jp 担当:中西、加藤 Copyright (c) 2014 Atomitech CORPORATION 45

×