Kết quả thực thi

Xem kết quả thực thi

Xem thêm về kết quả thực thi

Sau khi người dùng nhấn Run để thực thi kịch bản kiểm thử, màn hình hiển thị tiến trình thực thi, trạng thái của lần thực thi kịch bản kiểm thử khi vừa bắt đầu là waiting. Khi kịch bản kiểm thử được thực thi xong, trạng thái này sẽ thay đổi tùy theo kết quả của lần thực thi.

Hệ thống ghi và hiển thị kết quả của tất cả các lần thực thi kịch bản kiểm thử. Để xem chi tiết kết quả thực thi của 1 lần thực thi bất kì, thực hiện như sau: Tại màn hình chức năng Runs, nhấn chọn loại kịch bản kiểm thử (Test scenario, test case, test suite...) mong muốn, danh sách các kết quả thực thi sẽ được hiển thị lưới với lần thực thi gần nhất ở trên cùng. Người dùng nhấn chọn lần thực thi cần xem chi tiết.

Tại màn hình tiến trình thực thi, hệ thống hiển thị các thông tin cơ của lần thực thi, như:

• Biểu đồ thống kê trạng thái, kết quả của lần thực thi
• Môi trường kiểm thử mà người dùng đã chọn
• Danh sách các bộ dữ liệu người dùng sử dụng trong lần thực thi...

Để xem chi tiết kết quả của một bộ dữ liệu, nhấn chọn một dữ liệu cụ thể trên danh sách

Hệ thống sẽ hiển thị thông tin chi tiết của một bộ dữ liệu, bao gồm:

• Dữ liệu đầu ra (TEST RUN RESULT)
• Thông tin cơ bản của lần kiểm thử (TEST RUN DATA INFORMATION)
• Dữ liệu đầu vào (TEST RUN DATA)
• Thông tin Agent (Agent information)

Lưu ý: Kết quả cuối cùng của một bộ dữ liệu sẽ dựa trên kết quả thực tế (Actual result) và kết quả mong muốn (Expected result).

Trạng thái cuối cùng của kịch bản kiểm thử là Pass khi:

• Expected result (mong muốn của người thực hiện kiểm thử) là Pass & Actual result (kết quả chạy thực tế) là Pass
• Expected result (mong muốn của người thực hiện kiểm thử) là Fail & Actual result (kết quả chạy thực tế) là Fail

và ngược lại.

Xác định lỗi

Nếu trạng thái của kịch bản kiểm thử là Error

Điều này nghĩa là đã có lỗi xảy ra. Trong trường hợp này, người dùng cần xác định và phân biệt lỗi đang gặp phải là do cấu hình hay lỗi trong quá trình thực thi.

Lỗi cấu hình:

Mô tả lỗi hiển thị tại phần Description trên màn hình chi tiết kết quả thực thi.

Xem thêm một số lỗi cấu hình tiêu biểu và cách sửa lỗi

Lỗi thực thi:

Trên danh sách data của test run, nhấn chọn bản ghi data có kết quả fail mà người dùng muốn xem lỗi.

Mô tả lỗi hiển thị tại phần Actual result description.

Xem thêm một số lỗi thực thi tiêu biểu và cách sửa lỗi

Xác định vị trí lỗi khi gặp lỗi thực thi

Hệ thống cung cấp một số tiện ích hỗ trợ người dùng xác định vị trí lỗi:

• View debug: Xác định vị trí lỗi trên giao diện cấu hình.
• View image error of test: Ảnh màn hình của ứng dụng kiểm thử khi gặp lỗi.

View debug

Nhấn vào biểu tượng View debug phía bên phải của bản ghi dữ liệu thực thi kiểm thử.

Lưu ý: Biểu tượng View debug chỉ hiển thị khi actual result (kết quả thực tế) của tiến trình thực thi kiểm thử là fail.

Hệ thống điều hướng đến màn hình cấu hình kịch bản kiểm thử và highlight vị trí lỗi.

View image of test

Để sử dụng tính năng View image of test, khi thiết lập Profile ở trường thông tin Image disabled người dùng cần chọn false. Xem thêm Thiết lập profile

Nhấn vào biểu tượng View image of test phía bên phải của bản ghi dữ liệu thực thi kiểm thử.

Lưu ý: Biểu tượng View image error of test chỉ hiển thị khi actual result (kết quả thực tế) của tiến trình thực thi kiểm thử là fail.

Hệ thống hiển thị popup xem ảnh chụp màn hình lỗi của ứng dụng/hệ thống người dùng đang kiểm thử.

Video quá trình thực thi

Sau khi quá trình thực thi hoàn tất, người dùng có thể xem lại video để xác nhận luồng nghiệp vụ đã được thực hiện đúng như cấu hình, kiểm tra xem có thiếu bước nào hay không. Đây cũng là phương pháp hữu ích để xác định vị trí xảy ra lỗi trong quá trình thực thi.

Nhấn vào biểu tượng Play video of test phía bên phải của bản ghi dữ liệu thực thi kiểm thử.

Hệ thống hiển thị màn hình Play video test run và phát video quá trình thực thi kiểm thử. Lưu ý: Play video of test chỉ hoạt động khi thiết lập môi trường kiểm thử, người dùng đã kích hoạt tính năng record (Recorded disable = False).

Report bug

Đối với những bộ dữ liệu có Final status (kết quả cuối cùng) là fail, người dùng có thể sử dụng mộ trong những công cụ Jira, Mantis, LLQ Work Management... để xử lý (được tích hợp khi thiết lập project)

Người dùng có thể report lỗi thủ công hoặc cấu hình để report bug tự động khi thực hiện tích hợp với các công cụ quản lý lỗi. Report lỗi tự động sẽ tự động đẩy lỗi lên mỗi lần xảy ra lỗi thực thi hệ thống.

Các thông tin được báo cáo lên công cụ quản lý lỗi như: mô tả lỗi, ảnh chụp lỗi và dữ liệu kiểm thử để bộ phận phát triển ứng dụng/hệ thống có thể dễ dàng tái hiện lại lỗi.

Điều kiện để Report bug trên Centralize Automation Testing Suite

Tích hợp công cụ quản lý bug

Khi thiết lập Project, người dùng cần lựa chọn công cụ quản lý bug được tích hợp với Centralize Automation Testing Suite.

Hiện tại LLQ QA Testing Suite hỗ trợ tích hợp quản lý bug với Jira, Mantis và app LLQ Work Management.

Để có thể report bug trên Centralize Automation Testing Suite, hình thức thực thi của kịch bản kiểm thử phải là “Complete”. Thông số hình thức thực thi (test run) được thiết lập trước khi thực thi kịch bản kiểm thử.

Nếu kịch bản kiểm thử có Test Run là Draft, người dùng cần chuyển trạng thái từ Draft sang Complete.

Trên màn hình kết quả thực thi của kịch bản kiểm thử, click vào biểu tượng Mark complete

Hệ thống hiển thị popup xác nhận chuyển Complete, nhấn Ok để hoàn thành. Hệ thống cập nhật Test run là Complete.

Report bug trên Centralize Automation Testing Suite

Bước 1: Nhấn vào biểu tượng Report bug phía bên phải bản ghi của bộ dữ liệu đó thực thi fail

Hệ thống hiển thị popup xác nhận

Bước 2: Nhấn Ok, hệ thống thông báo Report bug successful, hệ thống cập nhật Bug Tracker Status Report Bug từ Not report thành Reported, đồng thời hiển thị Test run data bug tracker cùng đường dẫn truy cập nhanh đến lỗi được report.

Báo cáo kết quả 1 lần thực thi

Một lần thực thi kịch bản kiểm thử có thể chứa rất nhiều dòng dữ liệu khác nhau và cho ra những kết quả khác nhau. Người dùng có thể tải file báo cáo để xem cụ thể kết quả của từng dòng dữ liệu, hỗ trợ phân tích kịch bản kiểm thử nhanh chóng, rõ ràng.

Tải báo cáo kết quả 1 lần thực thi

Trên màn hình hiển thị kết quả thực thi, nhấn vào biểu tượng Download result

Hoặc nhấn vào biểu tượng Download result phía bên phải bản ghi dữ liệu của lần thực thi tại màn hình danh sách các lần thực thi.

Hệ thống sẽ tải file kết quả về máy người dùng. File kết quả sẽ bao gồm các thông tin sau:

• Test run information: Thông tin cơ bản của lần thực thi.

  

• Result: Kết quả của các bộ dữ liệu.

  

• Data: Bộ dữ liệu kiểm thử.

  

• Parameter: Danh sách các tham số của kịch bản kiểm thử.