Xây dựng mô hình giám sát trạng thái và hoạt động tương tác cho các đối tượng trong hệ phân tán dựa trên máy trạng thái hữu hạn truyền thông
Giám sát trạng thái và thông tin hành vi truyền thông của các đối tượng trong hệ phân tán là thực sự cần thiết, hỗ trợ người quản trị biết được các hoạt động, các trạng thái và các sự kiện xảy ra giữa các đối tượng trong hệ thống, từ đó giúp cho người quản trị phát hiện lỗi phát sinh, các nguy cơ tiềm ẩn trong quá trình hoạt động của hệ phân tán.
Trang 1
Trang 2
Trang 3
Trang 4
Trang 5
Trang 6
Trang 7
Bạn đang xem tài liệu "Xây dựng mô hình giám sát trạng thái và hoạt động tương tác cho các đối tượng trong hệ phân tán dựa trên máy trạng thái hữu hạn truyền thông", để tải tài liệu gốc về máy hãy click vào nút Download ở trên
Tóm tắt nội dung tài liệu: Xây dựng mô hình giám sát trạng thái và hoạt động tương tác cho các đối tượng trong hệ phân tán dựa trên máy trạng thái hữu hạn truyền thông
ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ ĐẠI HỌC ĐÀ NẴNG, SỐ 3(112).2017-Quyển 1 133 XÂY DỰNG MÔ HÌNH GIÁM SÁT TRẠNG THÁI VÀ HOẠT ĐỘNG TƯƠNG TÁC CHO CÁC ĐỐI TƯỢNG TRONG HỆ PHÂN TÁN DỰA TRÊN MÁY TRẠNG THÁI HỮU HẠN TRUYỀN THÔNG BUILDING MONITORING MODEL FOR STATE AND INTERACTIVE OPERATIONS OF OBJECTS IN DISTRIBUTED SYSTEMS BASED ON COMMUNICATING FINITE STATE MACHINES Trần Nguyễn Hồng Phúc1, Lê Văn Sơn2 1Trường Đại học Bách khoa, Đại học Đà Nẵng; phuc.nguyenhong@mobifone.com 2Hội Tin học thành phố Đà Nẵng; levansupham2004@yahoo.com Tóm tắt - Giám sát trạng thái và thông tin hành vi truyền thông của các đối tượng trong hệ phân tán là thực sự cần thiết, hỗ trợ người quản trị biết được các hoạt động, các trạng thái và các sự kiện xảy ra giữa các đối tượng trong hệ thống, từ đó giúp cho người quản trị phát hiện lỗi phát sinh, các nguy cơ tiềm ẩn trong quá trình hoạt động của hệ phân tán. Bài báo đề xuất phương pháp biểu diễn hành vi của các đối tượng được giám sát trong hệ phân tán dựa trên máy trạng thái truyền thông, đồng thời đề xuất mô hình giám sát trạng thái và hoạt động tương tác truyền thông của các đối tượng trong hệ phân tán theo bốn mức, gồm mức nút mạng, lớp mạng, miền quản trị và toàn cục hệ thống. Dựa trên mô hình này, chúng tôi xây dựng giải pháp giám sát trạng thái và hoạt động tương tác truyền thông giữa các đối tượng trong hệ phân tán, hỗ trợ người quản trị phát hiện nhanh các trường hợp phát sinh trong vận hành và khai thác hệ thống. Abstract - Monitoring state and communication behavior of objects in distributed systems is critical because it will provide comprehensive data on monitored objects in the system such as communication operations, states and events between objects in the system. The information will support administrators in quickly detecting error states as well as potential risks that occur in the system. In this paper, we propose a method to model basic behaviors for monitored objects in distributed systems based on communicating finite state machines and a hierarchical monitoring architecture for these operations, which consists of four levels such as monitored node, network, domain and global system. Based on these models, we build monitoring solutions for objects in distributed systems to support administrators in quickly detecting abnormal events or error states that occur during operations of the system. Từ khóa - giám sát; hành vi; hệ phân tán; máy trạng thái truyền thông; mô hình giám sát; trạng thái Key words - monitor; behavior; distributed systems; communicating state machine; monitoring model; state 1. Đặt vấn đề Hệ phân tán (HPT) là hệ thống phức tạp, các ứng dụng phân tán thực hiện trên phạm vi lớn, nhiều thành phần không đồng nhất tham gia kết nối và tương tác truyền thông, số lượng lớn người sử dụng và các sự kiện xảy ra trong HPT. Khi một nút mạng bị sự cố, một tiến trình bị lỗi hay một sự kiện bất thường xảy ra trên hệ thống có thể ảnh hưởng, liên quan đến các nút mạng, các sự kiện khác đang diễn trên hệ thống. Các sự cố phát sinh có thể gây ảnh hưởng lớn đến khả năng hoạt động, độ ổn định của hệ thống. Những đặc điểm này đã đặt ra nhiều thách thức cho công tác quản trị HPT [1,12], nhiều công cụ và giải pháp kỹ thuật đã được nghiên cứu, phát triển để hỗ trợ cho người quản trị giám sát hệ thống, và cũng đã đạt được những kết quả nhất định. Kết quả khảo sát các công trình giám sát tiêu biểu được trình bày trong [7,10,14,18] cho thấy: hầu hết các hướng tiếp cận dựa trên giải pháp giám sát bằng phần mềm và triển khai trong môi trường mạng TCP/IP, phần lớn các giải pháp giám sát tập trung vào giải quyết cho lớp bài toán giám sát các vấn đề chi tiết như giám sát cấu hình, hiệu năng với SNMP [11], MonALISA [10]; giám sát tính toán song song và phân tán với JADE [7]; giám sát sự kiện các đối tượng lớp trung gian với MOTEL [18]. Hướng tiếp cận về kiểm soát trực tiếp thông tin về trạng thái và các hoạt động tương tác của đối tượng trong HPT là rất cần thiết, giúp cho người quản trị phát hiện nhanh các sự cố phát sinh và các nguy cơ tiềm ẩn trong quá trình vận hành khai thác hệ thống, đồng thời làm cơ sở kỹ thuật giám sát ở mức cao trước khi đi vào phân tích sâu hơn về hệ thống với các giải pháp giám sát chi tiết. Hiện nay, giải pháp giám sát trạng thái và hoạt động các nút mạng chủ yếu dựa vào giao thức ICMP [13], SNMP [11]. Ngoài ra, người quản trị sử dụng các công cụ hệ thống của hệ điều hành hoặc công cụ phát triển của các nhà sản xuất thiết bị để giám sát một số hành vi nhất định của các đối tượng trong HPT. Trong khi đó, các công cụ giám sát kèm theo thường được gắn liền với mỗi chủng loại và môi trường hoạt động của từng thiết bị cụ thể, việc giám sát và điều khiển thực hiện trực tiếp với từng thiết bị được giám sát. Hạn chế của phương pháp giám sát này là thông tin giám sát rời rạc trên từng đối tượng, không liên kết thông tin toàn cục và mất nhiều thời gian xử lý cho các đối tượng liên mạng, khó khăn cho người quản trị trong vấn đề quản lý tổng thể hệ thống, lưu lượng thông tin giám sát ảnh hưởng trực tiếp đến hiệu năng hệ thống được giám sát. Xuất phát từ các tồn tại hiện nay trong việc giám sát trạng thái và hoạt động cơ bản các đối tượng trong HPT trên, bài báo trình bày một phương pháp cho phép biểu diễn hoạt động của các đối tượng trong HPT dựa vào máy trạng thái hữu hạn truyền thông (Communicating Finite State Machine −CFSM) [6,19], đồng thời đề xuất mô hình giám sát trạng thái và hoạt động tương tác giữa các đối tượng trong HPT. Mô hình đề xuất hỗ trợ hiệu quả hơn cho người quản trị trong các yêu cầu giám sát HPT, góp phần khắc phục những hạn chế trong giám sát trực tiếp trạng thái và hoạt động tương tác hiện nay. Phần còn lại của bài báo gồm các nội dung: Phần 2 trình bày đặc trưng cơ bản của HPT và kiến trúc quản trị phân 134 Trần Nguyễn Hồng Phú ... tử giám sát lớp mạng TTMN chịu trách nhiệm xử lý, tổng hợp và phân tích thông tin nhận được từ các báo cáo giám sát của tác tử TTMO, tạo các báo cáo giám sát về lớp mạng được giám sát, đồng thời lưu trữ thông tin giám sát vào cơ sở dữ liệu giám sát cục bộ để phục vụ cho các yêu cầu truy vấn lịch sử giám sát. Tác tử giám sát miền TTMD và toàn cục TTDS thực hiện xử lý, tổng hợp và phân tích thông tin nhận được, đồng thời tạo các báo cáo giám sát mức miền quản trị và toàn cục HPT. Hoạt động quan sát, thu thập thông tin hành vi các nút mạng dựa trên cơ sở máy trạng thái truyền thông được trình bày trong hình 8, bao gồm 2 loại: tự động thu nhận thông tin hành vi cần giám sát (hình 8a) và chủ động phát yêu cầu (hình 8b). Tạo báo cáo Lắng nghe -σGS ChờLắng nghe +σYC Tạo báo cáo (a) (b) -σGS -σTIMEOUT Hình 8. Máy trạng thái giám sát hoạt động của nút mạng ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ ĐẠI HỌC ĐÀ NẴNG, SỐ 3(112).2017-Quyển 1 137 Máy giám sát liên tục ở trạng thái lắng nghe để chờ nhận sự kiện cần giám sát -δGS, khi nhận được sự kiện quan tâm sẽ chuyển sang trạng thái tạo báo cáo giám sát để thực hiện quá trình xây dựng báo cáo giám sát. Trong một số trường hợp đặc biệt, máy giám sát sẽ chủ động yêu cầu thông tin cần giám sát. Như vậy, hoạt động giám sát hành vi của các đối tượng trong HPT được xây dựng dựa vào giải pháp được trình bày như hình 9. Lớp hệ thống Lớp máy hành vi Lớp máy giám sát Hình 9. Giải pháp cho tác tử giám sát hành vi Lớp hệ thống bao gồm hệ điều hành, các chương trình điều khiển, công cụ hệ thống hoặc các giao tiếp của các hệ thống giám sát khác cung cấp, lớp này cung cấp thông tin về hoạt động, các sự kiện tương ứng của các thành phần tài nguyên phần cứng, tài nguyên phần mềm. Lớp máy hành vi bao gồm tập hợp các máy trạng thái truyền thông tương ứng của các đối tượng được giám sát, lớp này được sử dụng làm cơ sở mô tả các trạng thái, các sự kiện của các thành phần và hỗ trợ cung cấp thông tin cần thiết về hành vi của đối tượng được giám sát. Lớp máy giám sát là các thực thể giám sát, bao gồm các máy trạng thái giám sát, có chức năng thu thập thông tin hoạt động trực tiếp từ các máy hành vi ở Lớp máy hành vi, hoặc gián tiếp thu thập thông tin giám sát từ quan sát các trạng thái các thành phần của đối tượng được giám sát, thông qua kết nối trực tiếp với các thư viện, các công cụ được cung cấp ở Lớp hệ thống. 5. Thực nghiệm giám sát hoạt động nút mạng Trên cơ sở biểu diễn hành vi các đối tượng trong HPT dựa vào máy trạng thái hữu hạn truyền thông, mô hình giám sát hành vi được trình bày trong phần trên, chúng tôi xây dựng công cụ thực nghiệm giám sát hoạt động tương tác truyền thông và trạng thái kết nối các nút mạng tại Công ty Dịch vụ Mobifone Khu vực 3 (MBF3) có sơ đồ logic như hình 10. Hình 10. Sơ đồ logic của hệ thống mạng tại MBF3 Về mặt kết nối vật lý, tất cả các miền quản trị và các thiết bị của các hệ thống CNTT tại MBF3 được kết nối về bộ chuyển mạch lõi Nexus 7009 và bộ định tuyến lõi Cisco ASR 9010, thực hiện kết nối chuyển mạch cho các vùng quản trị ở miền Trung - Tây Nguyên, đồng thời thực hiện chức năng định tuyến kết nối WAN đi các hệ thống CNTT tại Hà Nội và thành phố Hồ Chí Minh. Hoạt động sản xuất kinh doanh được thực hiện qua các dịch vụ phân tán quan trọng như chăm sóc khách hàng, dịch vụ giá trị gia tăng, thanh toán trực tuyến. Thông tin kết nối của các nút mạng cũng như các hoạt động tương tác truyền thông trong MBF3 thực sự cần thiết cho người quản trị hệ thống, hỗ trợ người quản trị biết được các lỗi kết nối phát sinh, các vùng mạng liên quan, các hoạt động tương tác truyền thông liên quan đang diễn ra trên hệ thống. Từ đó, giúp người quản trị kịp thời phát hiện các nút mạng lỗi phát sinh trong quá trình hệ thống hoạt động. 5.1. Giám sát hoạt động tương tác giữa các nút mạng HPT là hệ thống phức tạp, giám sát trực tuyến hoạt động tương tác giữa nút mạng luôn là thách thức cho người quản trị. Các công cụ giám sát hiện nay rất khó khăn và mất nhiều thời gian để xác định hoạt động này, bởi vì người quản trị sử dụng các công cụ rời rạc hoặc phải dựa vào dữ liệu lịch sử các hệ thống bảo mật để phân tích. Tuy nhiên, với mô hình hành vi được đề xuất như hình 11 sẽ giúp cho giám sát các hoạt động tương tác một cách nhanh chóng và hỗ trợ tích cực hơn cho người quản trị. Si - REQ Sj Sm - COM Sn + MON Chờ Tạo báo cáo- MON Đối tượng được giám sát Các nút mạng trên hệ thống + COM TTCOM Hình 11. Mô hình hành vi cho hoạt động tương tác Các đối tượng trong MBF3 nhận được yêu cầu tương tác –COM từ đối tượng được giám sát và gửi sự kiện +MON cho tác tử giám sát TTCOM. TTCOM được triển khai cho các nút mạng trong hệ thống MBF3 để thu thập thông tin tương tác. Kết quả giám sát hoạt động tương tác các đối tượng trong MBF3 được trình bày trong hình 12. Hình 12. Giám sát hoạt động tương tác trên MBF3 Để thực hiện giám sát hoạt động tương tác của một nút mạng với các công cụ hệ thống, thì thời gian giám sát trung 138 Trần Nguyễn Hồng Phúc, Lê Văn Sơn bình 6s bao gồm truy nhập từ xa, xác thực username và password, gõ lệnh kiểm tra kết nối và các tham số. Trong khi đó, giám sát bằng phương pháp truyền thông điệp của các tác tử giám sát có thời gian trung bình (đảm bảo hiệu năng hệ thống MBF3) là 200ms cho báo cáo sự kiện tương tác. Như vậy, kết quả giám sát sẽ tốt hơn 5.800ms cho 1 giao dịch giám sát. 5.2. Giám sát trạng thái kết nối với giao thức ICMP Trạng thái kết nối của nút mạng là thông tin quan trọng đối với người quản trị hệ thống, cần có giải pháp hiệu quả để có thể nhanh chóng phát hiện được các nút mạng bị mất kết nối và các vùng mạng liên quan. Trong phần trình bày này, chúng tôi tập trung trình bày ứng dụng giao thức ICMP (Internet Control Message Protocol) với mô hình phân cấp được đề xuất để giám sát kết nối các nút mạng trong hệ thống MBF3. Giao thức ICMP là giao thức ở tầng liên mạng (Internet layer) của môi trường mạng TCP/IP, được sử dụng phổ biến trong việc xác định trạng thái thiết bị mạng. Trong ứng dụng giám sát trạng thái nút mạng cần đảm bảo tốc độ truyền thông với độ trễ thấp, cho phép bỏ qua một số lỗi nhỏ và đảm bảo về mặt băng thông thấp nên việc sử dụng giao thức UDP và ICMP trong mô hình TCP/IP là phù hợp. Đồng thời, trong mô hình giám sát trạng thái được chúng tôi đề xuất, thay vì sử dụng ICMP trực tiếp giữa các nút mạng trong một hệ thống lớn sẽ kém hiệu quả, chúng tôi sử dụng ICMP cho từng lớp mạng cụ thể trong hệ thống nên việc triển khai giám sát hiệu quả hơn. Giao thức ICMP cung cấp thông điệp ICMPechorequest và ICMPechoreply cho phép xác định kết nối của nút mạng.Với hiện trạng hệ thống MBF3 được trình bày trong hình 10, chính sách quản trị cho phép các nút mạng hoàn toàn có thể thực hiện tương tác truyền thông với nhau qua các vùng miền và được phép thực hiện các gói tin ICMP trên toàn hệ thống của MBF3. Để giám sát kết nối của nút mạng trên hệ thống MBF3, người quản trị sử dụng công cụ tích hợp hệ thống như Ping hoặc các công cụ hỗ trợ scanner để tạo ra các gói tin ICMP. Phương pháp giám sát này thực hiện theo mô hình được trình bày trong hình 13. ICMP echo request ICMP echo request ICMP echo reply ICMP echo reply Nút mạng Lớp mạng Miền HPT Hình 13. Mô hình hoạt động ICMP với công cụ hệ thống Theo mô hình này, các gói tin ICMPechorequest được tạo ra từ máy chủ giám sát của người quản trị gửi đến các nút được giám sát trên hệ thống MBF3. Vì vậy, các gói tin ICMP được truyền thông trên toàn bộ hệ thống MBF3, sẽ ảnh hưởng đến hoạt động của hệ thống gồm 500 nút mạng được giám sát. Kết quả sử dụng Ping trong môi trường hệ điều hành Windows để giám sát được trình bày như hình 14. Thời gian cho kết quả giám sát từ 3s đến 5s (bao gồm phần lệnh, tham số và kết quả trả về). Hình 14. Kết quả thực hiện giám sát với công cụ Ping Với mô hình giám sát phân cấp được đề xuất trong mục 4.2, giám sát kết nối của nút mạng trên hệ thống MBF3 được thực hiện như hình 15. Theo mô hình này, các gói tin ICMP sẽ được truyền thông trong từng lớp mạng cụ thể của MBF3, sẽ hạn chế được lan truyền các gói tin ICMP trên toàn bộ hệ thống MBF3. ICMP echo request ICMP echo request ICMP echo reply ICMP echo reply Nút mạng Lớp mạng Miền HPT Hình 15. Mô hình giám sát MBF3 với giao thức ICMP Với hệ thống mạng 1Gb/s cho phép tốc độ là 81.274 khung dữ liệu/s với kích khung lớn nhất là 1.538 byte [20]. Để đảm bảo hiệu năng hệ thống thực tế tại MBF3, việc triển khai thực hiện 5-10 thông điệp ICMP/s để giám sát tại các máy chủ giám sát lớp mạng, kết quả giám sát tích cực hơn mô hình công cụ hệ thống trong khoảng thời gian từ 1.450s đến 2.400s. Một số nhận xét triển khai giám sát trạng thái kết nối với giải pháp mô hình phân cấp và công cụ hệ thống được trình bày trong bảng 1. Bảng 1. Bảng nhận xét mô hình giám sát với ICMP STT Nội dung Mô hình phân cấp Mô hình công cụ hệ thống 1 Kiến trúc giám sát Theo 4 mức: nút mạng, lớp mạng, miền và toàn cục Trực tiếp điểm – điểm 2 Thực hiện giám sát Tự động theo mức lớp mạng– nút mạng Thủ công giữa nút quản trị và các nút mạng 3 Phạm vi truyền thông Thông điệp ICMP được truyền giữa mức lớp mạng – nút mạng Thông điệp ICMP được truyền trên toàn hệ thống được giám sát 4 Thời gian giám sát Tổng thời gian giám sát cho 500 thiết bị tại MBF3 từ 50s – 100s Tổng thời gian giám sát cho 500 thiết bị tại MBF3 từ 1.500s – 2.500s ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ ĐẠI HỌC ĐÀ NẴNG, SỐ 3(112).2017-Quyển 1 139 6. Kết luận Hành vi của đối tượng được giám sát trong hệ phân tán có vai trò quan trọng trong việc hỗ trợ phát triển giải pháp giám sát, cung cấp cho người quản trị các thông tin cần thiết về các đối tượng như các hoạt động, các trạng thái và sự kiện tương ứng. Với mô hình giám sát phù hợp, người quản trị hệ thống có thể nhanh chóng phát hiện các hoạt động tương tác, các trạng thái, cũng như các sự kiện cần quan tâm từ thông tin hành vi này. Bài báo đề xuất mô hình giám sát phân cấp bao gồm 4 mức (nút mạng, lớp mạng, miền quản trị và toàn cục hệ thống), mô hình hỗ trợ người quản trị giám sát các hoạt động tương tác truyền thông và trạng thái kết nối các nút mạng trong MBF3. Mô hình giám sát phân cấp khắc phục những hạn chế của công cụ giám sát hiện nay trong quá trình giám sát hệ phân tán. Để triển khai hiệu quả giám sát hành vi cho các đối tượng trong hệ phân tán, chúng tôi tiếp tục nghiên cứu chi tiết hơn về các trạng thái, sự kiện cụ thể của các đối tượng trong hệ phân tán, áp dụng các thuật toán tối ưu tính toán và xử lý khối lượng lớn thông tin giám sát thu được từ các thành phần, đối tượng được giám sát trong hệ phân tán quy mô lớn. TÀI LIỆU THAM KHẢO [1] Ajay Kshemkalyani, Mukesh Singhal, "Distributed Computing Principles, Algorithms, and Systems", Cambridge University Press, 2008. [2] Andrew Stuart Tanenbaum, Modern Operating Systems, 3rd Edition, Pearson Prentice Hall, 2008. [3] Andrew Stuart Tanenbaum, Maarten Van Steen, Distributed Systems: Principles and Paradigms, 2nd Edition, Prentice Hall, 2007. [4] Christos Cassandras, Stéphane Lafortune, Introduction to Discrete Event Systems, 2nd edition, Springer, 2008. [5] George Coulouris, Jean Dollimore, Tim Kindberg and Gordon Blair, Distributed systems concepts and design, 5th Edition, Addison Wesley Press, May 2011. [6] Gerard J. Holzmann, Design and validation of computer protocols, Prentice Hall, USA, 1991. [7] Jeffrey Joyce, Greg Lomow, Konrad Slind, Brian Unger, "Monitoring Distributed Systems", ACM Transactions on Computer Systems, 5(2), 1987, pp. 121-150. [8] Kwang-Hui Lee, “A Distributed Network Management System”, Global Telecommunications Conference, IEEE,1994. [9] Lê Văn Sơn, Hệ tin học phân tán, NXB Đại học Quốc gia TP. Hồ Chí Minh, 2002. [10] Newman Harvey B., Legrand Iosif C., Galvez Philippe, Voicu Ramiro, Cirstoiu Catalin. 2003. MonALISA: A distributed Monitoring Service Architecture, Proceedings of Computing in High Energy and Nuclear Physics (CHEP), pp. 680-687, 2003. [11] Nguyễn Thúc Hải, Mạng máy tính và các hệ thống mở, NXB Giáo dục, Hà Nội, 1997. [12] Phuc Tran Nguyen Hong, Son Le Van, "An online monitoring solution for complex distributed systems based on hierarchical monitoring agents", KSE 2013 conference, Springer, 2013, pp.191-202. [13] Sean Convery, "Network Security Architectures", Cisco Press, 2004. [14] Sheng-Yuan Yang, Yi-Yen Chang, "An active and intelligent network management system with ontology-based and multi-agent techniques", Expert Systems with Applications, 38(8), 2011, pp. 10320-10342. [15] Trần Nguyễn Hồng Phúc, Lê Văn Sơn, "Một phương pháp mô hình hóa kiến trúc cho các đối tượng được giám sát trong hệ phân tán", Tạp chí Khoa học và Công nghệ Đại học Đà Nẵng, 1(74), 2014, pp. 55-58. [16] Umar Manzoor, Samia Nefti, "An agent based system for activity monitoring on network", Journal Expert Systems with Applications, 36(8), 2009, pp. 10987-10994. [17] Weilong Hu, Hessam S. Sarjoughian, "A co-design modeling approach for computer network systems", Proceedings of the 2007 Winter Simulation Conference, 2007, pp. 1729-1736. [18] Xavier Logean, "Run-time Monitoring and On-line Testing of Middleware Based Communication Services", PhD dissertation, Swiss Federal, 2000. [19] Yannick Pencolé, marie-odile cordier, Laurence Rozé, "A decentralized model-based diagnostic tool for complex systems", International Journal on Artificial Intelligence Tools, 11 (3), 2002, pp. 327-346. [20] performance-metrics.html [Truy cập: 01/12/2016]. (BBT nhận bài: 20/03/2017, hoàn tất thủ tục phản biện: 28/03/2017)
File đính kèm:
- xay_dung_mo_hinh_giam_sat_trang_thai_va_hoat_dong_tuong_tac.pdf