BÀI 1 - CƠ BẢN VỀ KIỂM THỬ PHẦN MỀM
BÀI 1. CƠ BẢN VỀ KIỂM THỬ PHẦN MỀM
Năm 1947, máy tính cỡ lớn (to bằng cả 1 tòa nhà) được điểu khiển dựa trên các relay và sức nóng của các ống chân không. Điển hình cho máy tính giai đoạn này là Mark II, chiếc máy tính khổng lồ được xây dựng bởi trường đại học Harvard. Các kỹ thuật viên đang từng bước chạy chiếc máy tính mới thì nó đột nhiên dừng làm việc. Họ đã mất rất nhiều công sức để tính toán xem tại sao và họ đã khám phá ra: họ đang bị mắc kẹt giữa một tập các relay ở sâu bên trong ruột của máy tính. Dường như, chúng bị căng phồng lên trong hệ thống bởi ánh sáng và sức nóng, và bị hạ gục bởi điện áp cao khi nó đang hoạt động trên các relay. Như vậy, quá trình lập trình để điều khiển hoạt động của máy tính có vấn đề không ổn.
Vì thế mà chúng ta hãy đến với những bài học của môn Software testing. Nội dung chính của môn học này bao gồm:
- Lịch sử về lỗi phần mềm, những khái niệm cơ bản về lỗi phần mềm
- Các kỹ năng nền tảng của việc kiểm thử phần mềm
- Những yếu tố cơ bản cần kiểm thử trong một phần mềm
- Các giai đoạn trong khi kiểm thử một phần mềm
- Làm việc với các tài liệu kiểm thử: lập kế hoạch, viết và theo dõi các test case, báo cáo lỗi
- Chuẩn quốc tế của một phần mềm tốt
Trong bài này, chúng ta sẽ tìm hiểu về lịch sử của các lỗi phần mềm và kiểm thử phầm mềm.
Những điểm cần chú ý trong bài này bao gồm:
- Các lỗi phần mềm tác động đến cuộc sống của chúng ta nhƣ thế nào?
- Lỗi là gì và tại sao chúng xuất hiện?
- Các tester là ai và họ phải làm những gì?
1.1. Những lỗi (bug) phần mềm nghiêm trọng trong lịch sử
- Hãy đánh giá thử xem các phần mềm đã thâm nhập vào cuộc sống của chúng ta nhƣ thế nào.
o Sau năm 1947, chiếc máy tính Mark II yêu cầu hàng tá những nhà lập trình phải bảo trì liên miên. Những ngƣời bình thƣờng không bao giờ tƣởng tƣợng đƣợc rằng một ngày nào đó trong căn nhà của họ sẽ có một chiếc máy tính của chính họ.
o Bây giờ, máy tính tràn ngập khắp nơi, nó không chỉ đến với từng gia đình, mà còn đến với từng cá nhân. Những đĩa CD phần mềm miễn phí với các đoạn video game cho trẻ em, tặng kèm theo các hộp ngũ cốc còn nhiều hơn cả phần mềm trên các tàu con thoi.
- Hãy thử so sánh sự phát triển của các máy nhắn tin và các buồng điện thoại, dịch vụ chuyển phát nhanh… với sự phát triển của máy tính và phần mềm máy tính. Dƣờng nhƣ không gì có thể theo kịp sự bùng nổ của ngành công nghiệp đầy chất xám này. Bây giờ, chúng ta có thể không thể không sử dụng các dịch vụ chuyển phát nhanh…, nhƣng không thể bắt đầu một ngày mà không vào mạng và kiểm tra thƣ điện tử.
- Phần mềm ở khắp mọi nơi. Tuy nhiên, nó đƣợc viết bởi nhiều ngƣời, vì vậy mà nó không hoàn hảo. Chúng ta hãy cùng đi tìm hiểu một số ví dụ dƣới đây:
1.1.1. Disney’s Lion King, 1994 – 1995
Vào cuối năm 1994, công ty Disney đã tung ra thị trƣờng trò chơi đa phƣơng tiện đầu tiên cho trẻ em, The Lion King Animated StoryBook. Mặc dù rất nhiều công ty khác đã quảng bá các chƣơng trình cho trẻ em trong nhiều năm, đây là lần đầu tiên Disney mạo hiểm lao vào thị trƣờng. Nó đã đƣợc xúc tiến và quảng cáo mạnh mẽ. Số lƣợng bán ra vô cùng đồ sộ. Nó đƣợc mệnh danh là “the game to buy” cho trẻ em trong kỳ nghỉ. Tuy nhiên, chuyện gì đã xảy đến? Đó là một sự thất bại khủng khiếp. Vào 26/12, ngay sau ngày Giáng Sinh, khách hàng của Disney đã liên tục gọi điện. Ngay lập tức, các kỹ thuật viên trợ giúp bằng điện thoại đã bị sa lầy với các cuộc gọi từ các bậc cha mẹ đang giận dữ và những đứa trẻ đang khóc, vì chúng không thể cho phần mềm làm việc. Nhiều câu chuyện đã xuất hiện trên các mặt báo và trên bản tin của TV.…Disney đã thất bại khi không kiểm tra phần mềm rộng dãi trên nhiều mô hình máy tính khác nhau có sẵn trên thị trƣờng. Phần mềm đã làm việc trên một vài hệ thống mà các các lập trình viên của Disney đã dùng để tạo ra trò game này, nhƣng nó không phải là các hệ thống phổ biến nhất mà ngƣời dùng hay sử dụng.
1.1.1. Lỗi chia dấu phẩy động của bộ vi xử lý Intel Pentium (Intel Pentium Floating – Point Division Bug), 1994
Hãy mở phần mềm Calculator trong máy tính của bạn và thực hiện phép toán
sau:
(4195835 / 3145727) * 3145727 – 4195835
Nếu kết quả là 0, máy tính của bạn hoạt động tốt. Nếu nhƣ bạn nhận đƣợc một kết quả khác, thì bạn đang sở hữu một Intel Pentium CPU với lỗi floating – point division (chia dấu phẩy động) – một lỗi phần mềm đã làm nóng chip của bạn mà vẫn đƣợc tái sản xuất liên tục.
Ngày 30/10/1994, Thomas R. Nicely thuộc trƣờng cao đẳng Lynchburg (Virgnia) đã phát hiện một kết quả không mong muốn trong khi thực hiện phép chia (division) trên máy tính của ông. Ông đã công bố kết quả nghiên cứu của mình trên internet và ngay lập tức ông đã làm bùng lên ngọn lửa với một số lƣợng lớn những ngƣời cũng gặp vấn đề nhƣ ông. Và họ tìm thêm những tình huống máy tính đƣa ra câu trả lời sai. May thay những trƣờng hợp này là hiếm thấy và kết quả đƣa ra câu trả lời sai chỉ trong những trƣờng hợp phục vụ cho Toán học chuyên sâu, Khoa học, và các Tính toán kỹ thuật. Hầu hết mọi ngƣời sẽ không bao giờ bắt gặp chúng trong khi đang thực hiện các tính toán thông thƣờng hoặc khi đang chạy các ứng dụng thƣơng mại của họ.
Điều gì đã làm cho vấn đề đáng chú ý này không đƣợc Intel coi là bug, mặt khác cái cách mà Intel điều khiển tình hình:
- Họ đã phát hiện ra các vấn đề trong khi thực thi các bài test của chính họ trƣớc khi chip đƣợc tung ra thị trƣờng. Các nhà quản lý của Intel đã quyết định rằng vấn đề này không đủ nghiêm trọng và ít khả năng xảy ra để cần thiết phải fixing (sửa) nó hoặc thậm chí là publicizing (công khai) nó.
- Lỗi đã bị phát hiện, Intel cố gắng để giảm bớt tính chất nghiêm trọng của vấn đề đã bị nhận bằng cách công bố công khai (press release).
- Khi bị gây áp lực, Intel đã ngỏ ý muốn thay thế miến phí những chip bị lỗi, nhƣng chỉ với điều kiện là ngƣời sử dụng đó phải chứng minh đƣợc rằng anh ta đã bị ảnh hƣởng do lỗi (bug).
- Họ đã gặp phải sự phản đối kịch liệt. Các diễn đàn trên Internet đã tạo sức ép với sự giận dữ của những khách hàng khó tính, đòi Intel phải fix vấn đề này. Các bản tin thì vẽ lên hình ảnh về Intel giống nhƣ một công ty vô trách nhiệm với khách hàng. Cuối cùng, Intel đã phải xin lỗi bằng cách điều chỉnh bug và đã phải bỏ ra trên 400 triệu dollar để chi trả cho quá trình thay thế các chip bị lỗi.
Bây giờ, Intel luôn công khai các vấn đề trên Website của họ và cẩn trọng giám sát sự hồi đáp của các khách hàng trên các diễn đàn (newsgroups).
Chú ý: Vào ngày 28/08/2000, một thời gian ngắn trƣớc khi phiên bản đầu tiên của cuốn sách này đƣợc sản xuất, Intel đã thông báo việc thu hồi tất cả các bộ vi xử lý Pentium III 1.13MHz, sau khi các con chip này đƣợc tung ra thị trƣờng khoảng 1 tháng. Một vấn đề đã bị phát hiện. Vì vậy họ phải thực thi cho lời khẳng định chắc chắn rằng các ứng dụng sẽ luôn chạy ổn định. Họ phải lập kế hoạch để thu hồi những chiếc máy tính đã tới tay khách hàng và tính toán giá thành để thay thế cho những con chip bị lỗi.
1.1.2. Tàu vũ trụ của NASA đáp xuống địa cực của sao Hỏa (NASA Mars Polar Lander), 1999
Ngày 3/12/1999, Tàu vũ trụ của NASA đáp xuống địa cực của sao Hỏa đã biến mất khỏi vòng kiểm soát trong khi nó đang cố gắng đáp xuống bề mặt của sao Hỏa. Ban Báo Cáo sự cố đã điều tra sự cố và xác định rằng nguyên nhân có thể xảy ra nhất của sự cố này là việc cài đặt một bit dữ liệu đơn lẻ. Điều đáng chú ý nhất là tại sao sự cố này lại chƣa từng đƣợc xảy ra trong các cuộc thí nghiệm nội bộ.
Theo lý thuyết, kế hoạch đáp tàu nhƣ sau: khi tàu đang đáp xuống bề mặt, nó sẽ nó sẽ mở ra chiếc dù nhằm làm giảm tốc độ. Một vài giây sau khi mở dù, 3 chân của máy dò sẽ mở ra và chết ở vị trí đáp. Khi máy dò ở vị trí cách bề mặt sao hỏa 1.800m nó sẽ nhả dù và đốt nóng (thruster) để giảm khoảng cách còn lại so với bề mặt sao hỏa
Để tiết kiệm, NASA đã đơn giản bộ máy quyết định thời gian ngắt. Thay thế Rada đắt tiền trên tàu vũ trụ, họ đã cài đặt công tắc tiếp xúc (Contact switch) ở chân của máy dò. Nói một cách đơn giản, khi các chân của máy rò mở ra sẽ bật công tắc để động cơ đốt cháy cho đến khi các chân chạm đất.
Thật không may ban báo cáo sự cố đã phát hiện ra trong quá trình kiểm tra của họ rằng khi các chân đƣợc tách ra để chạm tới đất, một rung động của máy đã làm trƣợt công tắc đốt cháy và việc thiết đặt bit này đã gây tai họa. Đây là một vấn đề rất nghiêm trọng, máy tính đã tắt bộ phận đốt nóng và con tàu đã bị vỡ ra từng mảnh sau khi rơi từ độ cao 1.800m xuống bề mặt sao Hỏa.
Kết quả thật là thê thảm, nhƣng lý do lại rất đơn giản. Con tàu thám hiểm đã đƣợc kiểm tra bởi rất nhiều đội. Một đội đã kiểm tra chức năng mở các chân của con tàu và một đội khác thì kiểm tra việc đáp tàu xuống mặt đất. Đội đầu tiên đã không biết rằng: một bit đƣợc thiết đặt cho việc mở các chân của con tàu không nằm trong vùng kiểm tra của họ. Đội thứ 2 thì luôn luôn thiết lập lại máy tính, xóa bit dữ liệu trƣớc khi nó bắt đầu đƣợc kiểm tra. Cả 2 đội trên đều làm việc độc lập và hoàn thành nhiệm vụ của mình rất hoàn hảo. Nhƣng lại không hoàn hảo khi kết hợp các nhiệm vụ với nhau.
1.1.3. Hệ thống phòng thủ tên lửa Patriot, 1991
Hệ thống phòng thủ tên lửa Patriot (ngƣời yêu nƣớc) của Mỹ là một phiên bản scaled-back của chƣơng trình khởi động chiến lƣợc phòng thủ “Star Wars” đƣợc khởi động bởi tổng thống Ronald Reagan. Nó đặt nền móng cho chiến tranh Vùng Vịnh (Gulf war) nhƣ một hệ thống phòng thủ tên lửa Iraqi Scub. Mặc dù đã có rất nhiều câu chuyện quảng bá về sự thành công của hệ thống, tuy nhiên vẫn tồn tại lỗi khi chống lại một vài tên lửa. Một trong số đó đã giết chết 28 lính Mỹ ở Dhahran, Saudi Arabia. Quá trình phân tích đã cho thấy rằng, phần mềm đã bị lỗi nghiêm trọng. Một thời gian trễ rất nhỏ trong đồng hồ hệ thống đã đƣợc tích lũy lại sau 14h, và hệ thống theo dõi không còn chính xác nữa. Trong cuộc tấn công Dhahran, hệ thống đã điều hành trong hơn 100h.
1.1.4. Sự cố Y2K (năm 2000), khoảng 1974
Vào đầu những năm 1970, một lập trình viên, tên anh ta là Dave, đang làm việc cho hệ thống trả tiền của công ty anh ta. Máy tính mà anh ta sử dụng có bộ nhớ lƣu trữ rất nhỏ, buộc anh ta phải giữ gìn những byte cuối cùng mà anh ta có. Dave đã rất tự hào rằng anh ta có thể đóng gói các chƣơng trình của mình một cách chặt chẽ (tightly) hơn so với một vài đồng nghiệp của anh ta. Một phƣơng thức mà anh ta đã sử dụng là chuyển định dạng ngày tháng từ 4 chữ số, ví dụ 1973 thành định dạng 2 chữ số, ví dụ 73. Bởi vì, hệ thống trả tiền (Payroll) của anh ta phụ thuộc rất nặng vào xử lý ngày tháng, nhờ thế Dave có thể giữ lại những không gian nhớ có giá trị. Trong một thời gian ngắn, anh ta đã xem xét những vấn đề có thể xuất hiện khi đến thời điểm năm 2000 và hệ thống của anh ta đã bắt đầu thực hiện các công việc tính toán với các năm đƣợc đại diện bằng 00, 01… Anh ta cũng nhận thấy rằng, sẽ có một vài vấn đề xảy đến, nhƣng anh ta đã nghĩ rằng chƣơng trình của anh ta sẽ đƣợc thay thế hoặc cập nhật trong vòng 25 năm, và nhiệm vụ hiện tại của anh ta là quan trọng hơn là kế hoạch trong tƣơng lai xa nhƣ vậy. Và thời hạn đó cũng đã đến. Năm 1995, chƣơng trình của Dave vẫn đƣợc sử dụng, Dave đã nghỉ hƣu. Và không một ai biết làm thế nào để vào đƣợc hệ thống kiểm tra xem nếu đến năm 2000 thì chuyện gì sẽ xảy ra. Chỉ một mình Dave biết cách để fix nó.
Ngƣời ta đã ƣớc tính rằng, phải mất đến vài trăm tỷ dollar để có thể cập nhật và fix những lỗi tiềm tàng vào năm 2000, cho các chƣơng trình máy tính trên toàn thế giới có sử dụng hệ thống của Dave.
1.1.5. Mối hiểm nguy của Virus, năm 2004
01/04/1994, một thông điệp đã đƣợc gửi tới một vài nhóm ngƣời sử dụng internet và sau đó nó đƣợc truyền bá nhƣ một email có chứa một loại virus ẩn trong các bức ảnh có định dạng JPEG trên internet. Ngƣời ta đã cảnh báo rằng chỉ cần thao tác mở và xem những bức tranh bị nhiễm sẽ dẫn đến việc cài đặt virus trên PC của bạn. Sự thay đổi của những lời cảnh báo nói rõ rằng virus có thể làm hỏng màn hình máy tính của bạn và rằng những chiếc màn hình Sony Trinitron là “đặc biệt nhạy cảm”.
Nhiều ngƣời đã chú ý tới những lời cảnh báo và làm sạch những file ảnh JPEG trong hệ thống của họ. Thậm chí, một số ngƣời quản trị hệ thống còn tìm hiểu sâu bên trong những khối ảnh JPEG đƣợc nhận từ email trên hệ thống của họ.
Cuối cùng, mọi ngƣời cũng đã nhận thấy rằng, thông điệp ban đầu đƣợc gửi đi vào ngày cá tháng 4 (“April Fools Day”) và sự thật là không có chuyện gì cả, nhƣng câu chuyện đùa này đã đi quá xa. Các chuyên gia đã rung hồi chuông cảnh báo rằng: không có một cách khả thi nào để một bức ảnh JPEG có khả năng làm máy tính của bạn bị nhiễm virus. Sau tất cả, ngƣời ta khẳng định rằng một bức tranh cũng chỉ là dữ liệu, nó không thể thực thi mã chƣơng trình.
Mƣời năm sau, vào mùa thu năm 2004, một virus proof-of-concept đã đƣợc tạo ra, nó chứng minh rằng một bức ảnh JPEG có thể đƣợc tải về cùng với một virus. Nó sẽ gây ảnh hƣởng tới hệ thống đƣợc sử dụng để xem nó. Những mẩu tin (software patches) đƣợc tạo ra một cách nhanh chóng và đƣợc thông báo rộng khắp để ngăn chặn virus lan tràn. Tuy nhiên, chỉ là vấn đề thời gian cho đến khi họ khống chế đƣợc vấn đề này trên internet bằng cách làm sạch các bức ảnh trên đƣờng truyền.
1.2. Lỗi (bug) là gì?
Bạn vừa đƣợc tìm hiểu về một số vấn đề có thể xảy ra khi phần mềm bị lỗi. Nó có thể dẫn đến những phiền phức, giống nhƣ khi một máy chơi game không thể làm việc một cách hợp lý, hoặc nó có thể dẫn đến một thảm họa khủng khiếp nào đó. Số tiền để giải quyết vấn đề và sửa lỗi có thể lên tới hàng triệu dollar. Trong các ví dụ ở trên, rõ ràng phần mềm không hoạt động nhƣ dự tính ban đầu. Nếu là một tester, bạn sẽ phải tìm thấy hầu hết những lỗi của phần mềm. Hầu hết là những lỗi đơn giản và tinh vi, có khi quá nhỏ đến nỗi không thể phân biệt đƣợc cái nào là lỗi và cái nào không phải là lỗi.
NHỮNG THUẬT NGỮ VỀ CÁC LỖI PHẦN MỀM:
Phụ thuộc vào nơi mà bạn đƣợc làm việc (nhƣ một tester), bạn sẽ sử dụng những thuật ngữ khác nhau để mô tả: điều gì sẽ xảy đến khi phần mềm bị lỗi. Dƣới đây là một số thuật ngữ:
- Defect: nhƣợc điểm
- Fault: khuyết điểm
- Failure: sự thất bại
- Anomaly: sự dị thường
- Variance: biến dị
- Incident: việc rắc rối
- Problem vấn đề
- Error: lỗi
- Bug: lỗi
- Feature: đặc trƣng
- Inconsistency: sự mâu thuẫn
(Chúng ta có một danh sách các thuật ngữ không nên nhắc đến, nhƣng hầu hết chúng đƣợc sử dụng riêng biệt, độc lập giữa các lập trình viên)
Bạn có thể thấy ngạc nhiên rằng có quá nhiều từ để mô tả một lỗi phần mềm. Tại sao lại nhƣ vậy? Có phải tất cả chúng đều thật sự dựa trên văn hóa của công ty và quá trình mà công ty sử dụng để phát triển phần mềm của họ. Nếu bạn tra những từ này trong từ điển, bạn sẽ thấy rằng tất cả chúng đều có ý nghĩa khác nhau không đáng kể. Chúng cũng có ý nghĩa đƣợc suy ra từ cách mà chúng đƣợc sử dụng trong các cuộc đàm thoại hàng ngày.
Ví dụ, fault, failure và defect có xu hƣớng ám chỉ một vấn đề thật sự quan trọng, thậm chí là nguy hiểm. Dƣờng nhƣ là không đúng khi gọi một biểu tƣợng (icon) không đƣợc tô đúng màu là 1 lỗi (fault). Những từ này cũng thƣờng ám chỉ một lời khiển trách: chính là do nó (fault) mà phát sinh lỗi phần mềm (software failure) (“it‟s his fault that the software failure.”)
Anomaly, incident, variance thì không có vẻ là quá tiêu cực và thƣờng đƣợc sử dụng để đề cập tới sự vận hành không đƣợc dự tính trƣớc thay vì hoàn toàn là lỗi (all-out failure). “Tống thống đã tuyên bố rằng nó là một sự dị thƣờng phần mềm đã làm cho tên lửa đi sai lịch trình của nó” ("The president stated that it was a software anomaly that caused the missile to go off course."). Có lẽ, Problem, error và bug là những thuật ngữ chung nhất thƣờng đƣợc sử dụng.
Vậy, tại sao phải đƣa ra chủ đề này? Thực sự là quan trọng khi một tester hiểu khả năng cá nhân đằng sau nhóm phát triển phần mềm mà bạn đang làm việc cùng. Cách thức họ đề cập tới các vấn đề về phần mềm của họ là dấu hiệu thông thƣờng về cách họ tiếp cận quá trình phát triển toàn bộ của họ.
Mặc dù tổ chức của bạn có thể chọn một cái tên khác, nhƣng trong cuốn sách này tất các các vấn đề về phần mềm sẽ đƣợc gọi là các bug. Không thành vấn đề nếu lỗi là lớn, nhỏ, trong dự định, hay ngoài dự định, hoặc cảm giác của ai đó sẽ bị tổn thƣơng bởi họ tạo ra chúng. Không có lý do gì để mổ xẻ các từ. A bug's a bug's a bug.
ĐỊNH NGHĨA VỀ LỖI PHẦN MỀM:
Các vấn đề về software problems bug nghe có vẻ đơn giản, nhƣng chƣa hẳn đã giải quyết đƣợc nó. Bây giờ, từ problem cần đƣợc định nghĩa. Để tránh việc định nghĩa vòng quanh (circular definitions), điều quan trọng là phải mô tả đƣợc lỗi là gì?
Đầu tiên, bạn cần một thuật ngữ trợ giúp (supporting term): đặc tả phần mềm (product specification). Đặc tả phần mềm có thể gọi một cách đơn giản là spec hoặc product spec, là luận cứ của các đội phát triển phần mềm. Nó định nghĩa sản phẩm mà họ tạo ra, chi tiết là gì, hành động nhƣ thế nào, sẽ làm gì, và sẽ không làm gì? Luận cứ này có thể vạch ra phạm vi về hình thức từ một dạng hiểu biết về ngôn từ đơn giản, một email, hoặc một chữ viết nguệch ngoạc trên tờ giấy ăn, tới một tài liệu thành văn đƣợc hình thức hóa, chi tiết hơn. Trong bài 2, “Quy trình phát triển phần mềm”, bạn sẽ học về đặc tả phần mềm và quy trình phát triển, nhƣng không phải là bây giờ, định nghĩa này là đầy đủ.
Một lỗi phần mềm xuất hiện khi 1 hoặc nhiều hơn trong 5 quy tắc dưới đây là đúng:
1. Phần mềm không thực hiện một số thứ giống nhƣ mô tả trong bản đặc tả phần mềm
2. Phần mềm thực hiện một số việc mà bản đặc tả yêu cầu nó không đƣợc thực hiện
3. Phần mềm thực hiện một số chức năng mà bản đặc tả không đề cập tới
4. Phần mềm không thực hiện một số việc mà bản đặc tả không đề cập tới, nhƣng là những việc nên làm
5. Trong con mắt của ngƣời kiểm thử, phần mềm là khó hiểu, khó sử dụng, chậm đối với ngƣời sử dụng
Để tìm hiểu kỹ hơn về mỗi quy tắc, hãy cố gắng xem ví dụ dƣới đây để áp dụng chúng cho phần mềm calculator trong máy tính.
Có lẽ, đặc tả của 1 calculator đã nói rõ rằng: nó sẽ thực thi phép cộng, phép trừ, phép nhân, phép chia đúng. Nếu bạn là một tester, nhận việc kiểm thử phần mềm Calculator, nhấn phím “+” và không có chuyện gì xảy ra, đó là một lỗi theo quy tắc 1. Nếu bạn nhận đƣợc câu trả lời sai, cũng có nghĩa rằng đó là một lỗi, bởi vì theo quy tắc 1.
Bản đặc tả phần mềm yêu cầu rằng, calculator sẽ không bao giờ bị đột ngột ngƣng hoạt động, bị khóa lại hoặc bị đóng băng. Nếu bạn đập thình thịch lên các phím và nhận đƣợc thông điệp từ calculator là “not responding” (dừng quá trình hồi đáp với dữ liệu vào), đây là một lỗi theo quy tắc 2.
Mục đích là bạn nhận đƣợc phần mềm calculator để kiểm thử và thấy rằng bên cạnh các phép cộng, trừ, nhân, chia; nó còn thực hiện các phép căn bậc 2. Điều này chƣa từng đƣợc nêu trong bản đặc tả. Một lập trình viên có nhiều tham vọng vừa thêm nó vào bởi vì anh ta cảm thấy nó sẽ là một đặc tính tuyệt vời (great feature). Đây không phải là một một feature, nó thật sự là một bug theo quy tắc 3. Phần mềm đang thực hiện một số công việc mà bản đặc tả phần mềm không hề đề cập tới. Mặc dù sự điều khiển không định hƣớng này có thể là tốt, nhƣng nó sẽ yêu cầu thêm những lỗ lực lập trình và kiểm thử (vì có thể sẽ xuất hiện thêm nhiều lỗi). Lúc này chi phí cho việc sản xuất phần mềm cũng lớn hơn, điều này làm giảm hiệu quả kinh tế của quá trình sản xuất phần mềm.
Đọc quy tắc thứ 4 có thể thấy hơi lạ với sự phủ định kép, nhƣng mục đích của nó là tìm thấy những đặc điểm bị lãng quên, không đƣợc nhắc tới trong bản đặc tả. Bạn bắt đầu kiểm thử phần mềm Calculator và khám phá ra rằng, khi Pin yếu, bạn không nhận đƣợc những câu trả lời đúng cho quá trình tính toán của bạn nữa. Chƣa ai từng xem xét xem calculator phản ứng lại nhƣ thế nào trong chế độ này. Một giả định không tốt đƣợc tạo ra rằng: pin luôn đƣợc nạp đầy. Bạn mong muốn rằng công việc sẽ đƣợc duy trì cho đến khi pin hoàn toàn hết, hoặc ít nhất bằng cách nào đó báo cho bạn biết Pin đã yếu. Những phép tính đúng đã không xảy ra khi pin yếu, và nó cũng không chỉ rõ điều gì sẽ xảy đến. Quy tắc số 4 tạo nên lỗi này.
Quy tắc số 5 mang tính chất tổng hợp (catch-all). Tester là ngƣời đầu tiên thực sự sử dụng phần mềm nhƣ một khách hàng lần đầu sử dụng phần mềm. Nếu bạn phát hiện một vài điều mà bạn thấy không đúng vì bất cứ lý do gì, thì nó là một lỗi. Trong trƣờng hợp của calculator, có lẽ bạn đã tìm thấy những nút có kích thƣớc quá nhỏ. Hoặc có thể sự sắp xếp của nút “=” đã làm cho nó khó sử dụng. Hoặc sự bố trí màu sắc làm cho nó rất khó nhìn... Tất cả những điều này đều là lỗi (bug) theo quy tắc 5.
Chú ý: Mọi ngƣời sử dụng một phần của phần mềm sẽ có những mong đợi khác nhau và những ý kiến phần mềm nên hoạt động nhƣ thế nào. Sẽ không thể viết đƣợc phần mềm mà mọi ngƣời sử dụng đều thấy nó hoàn hảo. Tester sẽ luôn phải giữ những ý nghĩ này trong suy nghĩ của họ khi họ áp dụng quy tắc 5 để kiểm thử. Xét một cách thấu đáo, hãy sử dụng khả năng đánh giá tốt nhất của bạn, và quan trọng nhất là phải hợp lý. Ý kiến của bạn có giá trị, nhƣng, bạn sẽ được tìm hiểu trong các phần sau, không phải tất cả các lỗi bạn tìm đƣợc có thể hoặc sẽ được sửa (fix).
Để có một số ví dụ đơn giản và điển hình, bạn hãy nghĩ xem các quy tắc đƣợc áp dụng nhƣ thế nào với phần mềm mà bạn sử dụng hàng ngày. Đâu là điều bạn mong đợi, đâu là điều không mong đợi? Bạn thấy điều gì đã được chỉ rõ và điều gì bị bỏ quên? Và điều mà bạn hoàn toàn không thích về phần mềm này?
Định nghĩa trên về lỗi của một phần mềm đã bao quát những vấn đề cơ bản, nhƣng nếu sử dụng tất cả 5 quy tắc trên sẽ giúp bạn định nghĩa được các loại vấn đề khác nhau trong phần mềm mà bạn đang kiểm thử.
1.3. Tại sao lỗi xuất hiện?
Bây giờ, bạn biết lỗi là gì, bạn có thể tự hỏi tại sao lỗi xuất hiện. Bạn sẽ ngạc nhiên khi khám phá ra rằng hầu hết những lỗi này không phải là lỗi do lập trình. Quá trình khảo sát trên vô số dự án từ rất nhỏ tới cực lớn và kết quả luôn luôn giống nhau. Các lý do quan trọng gây ra lỗi phần mềm được mô tả nhƣ hình 1.1 dưới đây:
Hình 1.1: Các lỗi có thể bị phát sinh do nhiều lý do, nhưng trong quá trình phân tích các dự án mẫu thì lý do chính có thể được tìm thấy trong quá trình truy vết theo bản đặc tả.
Những lý do liên quan đến bản đặc tả là nguyên nhân chính làm xuất hiện lỗi specification:
- Một số bản đặc tả không viết cụ thể, không đủ kỹ lƣỡng
- Hoặc nó liên tục thay đổi, nhƣng lại không có sự phối hợp, trao đổi thông tin kịp thời với các đội phát triển dự án.
- Lập kế hoạch cho phần mềm là vô cùng quan trọng. Nếu nó không được thiết kế đúng, lỗi sẽ phát sinh
Lý do quan trọng tiếp theo mà dễ phát sinh lỗi là quá trình thiết kế. Đây là nơi mà các lập trình viên sắp xếp kế hoạch về phần mềm của họ. So sánh nó với kiến trúc được thiết kế cho một ngôi nhà. Các lỗi xuất hiện ở đây với những lý do tƣơng tự nhƣ khi chúng xuất hiện trong bản đặc tả. Nó bị dồn lại, thay đổi, hoặc giao tiếp không tốt.
Chú ý: Có một câu nói quen thuộc nhƣ sau: “Nếu bạn không thể nói, bạn cũng sẽ không thể làm” (“If you can’t say it, you can’t do it”). Điều này có thể áp dụng một cách hoàn hảo cho quy trình phát triển và kiểm thử phần mềm.
Những lỗi về code có thể quen thuộc với bạn hơn nếu nhƣ bạn là một lập trình viên. Điển hình, nhƣ là có thể theo dõi được độ phức tạp của phần mềm, văn bản nghèo nàn (đặc biệt trong các đoạn mã được cập nhật hoặc thay đổi), áp lực của lịch làm việc, hoặc những lỗi ngớ ngẩn. Điều quan trọng là phải chú ý rằng có nhiều lỗi thƣờng xuất hiện bên ngoài là những lỗi lập trình được theo dõi qua bản đặc tả và lỗi thiết kế.
Một số thứ tƣởng rằng là lỗi nhƣng thực ra lại không phải. Một số lỗi bị nhân bản lên, bắt nguồn từ những nguyên nhân giống nhau. Một số lỗi bắt nguồn từ việc kiểm tra sai. Và cuối cùng, những bug (hay những thứ mà chúng ta tƣởng là lỗi) hóa ra lại không phải là lỗi và chúng chiếm tỷ lệ nhỏ trong những bug được báo cáo.
1.4. Chi phí cho việc sửa lỗi
Bạn sẽ tìm hiểu trong bài 2, phần mềm không xuất hiện một các kỳ diệu mà thường là phải có cả 1 quá trình phát triển các phương thức, kế hoạch được sử dụng để tạo ra nó. Từ sự khởi đầu của phần mềm, qua quá trình lập kế hoạch, lập trình, và kiểm thử, đến khi khi nó được sử dụng bởi khách hàng, những lỗi này có khả năng được tìm thấy. Hình 1.1 biểu diễn một ví dụ về những chi phí cho việc sửa những lỗi có thể phát sinh trong trong toàn bộ thời gian thực hiện dự án.
Hình 1.2: Chi phí cho việc sửa lỗi có thể tăng đột ngột trên toàn bộ dự án
Chi phí được tính theo hàm loga, mỗi lần chúng tăng lên gấp 10 lần. Lỗi được tìm thấy và sửa lại trong thời gian gần nhất khi bản đặc tả bắt đầu được viết thì chi phí có thể không là gì cả, hoặc chỉ là 1$ cho ví dụ của chúng ta. Cũng với lỗi tương tự, nếu nó không được tìm thấy cho đến khi phần mềm được lập trình và kiểm thử thì chi phí có thể lên tới 10$ đến 100$. Nếu một để một khách hàng tìm ra nó, thì chi phí có thể lên tới hàng nghìn thậm chí hàng triệu dollar.
Nhờ một ví dụ trong cuốn sách này, hãy xem xét về The Disney Lion King đã đƣợc thảo luận gần đây. Lý do cơ bản của vấn đề là phần mềm này không làm việc được trên nền máy tính phổ biến lúc đó. Nếu nhƣ ngay ở giai đoạn đặc tả đầu tiên, ai đó đã nghiên cứu dạng máy PC phổ biến và chỉ ra rằng phần mềm cần được thiết kế và kiểm thử để làm việc được trên những cấu hình đó, thì chi phí cho những cố gắng trên sẽ là rất nhỏ. Nếu điều này không được thực hiện, một bản backup sẽ được gửi cho tester để thu thập những mẫu máy tính phổ biến và thay đổi phần mềm cho phù hợp với chúng. Họ sẽ tìm thấy lỗi, nhƣng quá trình sửa lỗi sẽ tốn kém hơn bởi vì phần mềm sẽ phải gỡ lỗi, sửa lỗi và kiểm thử lại. Đội phát triển dự án có thể cũng phải gửi đi một phiên bản đầu tiên của phần mềm tới một nhóm nhỏ các khách hàng để họ kiểm tra, quá trình này gọi là kiểm thử beta. Những khách hàng này, đặc trƣng cho một thị trƣờng lớn, sẽ có khả năng khám phá ra nhiều vấn đề. Tuy nhiên, lỗi phần mềm không phải là hoàn toàn cho đến khi có hàng nghìn CD-ROM đƣợc sản xuất và bán. Disney đã kiên trì trợ giúp khách hàng qua điện thoại trả lời về sản phẩm, thay thế các ổ CD-ROM, tốt nhƣ quá trình gỡ lỗi khác, sửa lỗi và vòng đời kiểm thử. Thật dễ dàng để làm tiêu tan toàn bộ lợi ích của sản phẩm nếu các lỗi là nguy hiểm đối với khách hàng.
1.5. Người kiểm thử phần mềm (software tester) làm những gì?
Bây giờ bạn có phần mềm với những lỗi ngớ ngẩn, bạn đã biết định nghĩa của một lỗi là gì, và bạn cũng biết chi phí cho chúng đắt đỏ nhƣ thế nào. Vậy mục đích của một tester là gì: Mục đích của tester là tìm ra lỗi phần mềm (“The goal of a software tester is to find bugs”)
Bạn có thể liên kết (run across) với các đội phát triển sản phẩm, ngƣời luôn muốn các tester xác nhận rằng phần mềm của họ làm việc tốt, không có lỗi. Hãy kiểm tra lại các Case study về con tàu thám hiểm lên địa cực của sao Hỏa, và bạn sẽ thấy tại sao đây là hƣớng tiếp cận sai. Nếu bạn chỉ kiểm tra những thứ mà sẽ làm việc và cài đặt cho quá trình kiểm tra của bạn, vì vậy, chúng sẽ luôn pass. Và bạn sẽ rất dễ bỏ quên những thứ không làm việc. Cuối cùng, bạn sẽ không phát hiện ra một số lỗi.
Nếu bạn đang bỏ sót một số lỗi, bạn sẽ phải trả giá cho dự án của bạn và tiền của công ty bạn. Là một tester, bạn không nên bằng lòng với những lỗi đã được tìm thấy, bạn nên nghĩ xem làm thế nào để tìm thấy chúng sớm nhất trong quy trình phát triển phần mềm, nhƣ vậy, chi phí để fix lỗi sẽ ít hơn.
Mục đích của một tester là tìm các lỗi và tìm thấy chúng một cách sớm nhất có thể (“The goal of a software tester is to find bugs and find them as early as possible”).
Nhƣng, tìm kiếm các lỗi, thậm chí phát hiện chúng từ rất sớm vẫn là chƣa đủ. Hãy nhớ lại định nghĩa về 1 lỗi. Bạn, 1 tester, là con mắt của khách hàng, trƣớc tiên phải xem xét phần mềm. Bạn nói chuyện với khách hàng và phải tìm kiếm một sự hoàn chỉnh.
Mục đích của một tester là tìm các lỗi, tìm thấy chúng một cách sớm nhất có thể, và chắc chắn rằng chúng sẽ được sửa (“The goal of a software tester is to find bugs, find them as early as possible, and make sure they get fixed.”).
Câu nói cuối cùng này rất quan trọng. Bạn hãy ghi nhớ nó và lấy ra xem lại khi bạn tìm hiểu về các kỹ thuật kiểm thử đƣợc thảo luận trong toàn bộ những nội dung quan trọng của cuốn sách này.
Chú ý: Điều quan trọng là phải chú ý: lỗi phần mềm được sửa không có nghĩa rằng phần mềm đã hoàn hảo. Phần mềm nên được bổ sung thêm những hƣớng dẫn sử dụng hoặc cung cấp các khóa đào tạo đặc biệt cho khách hàng. Việc này có thể còn yêu cầu thay đổi những số liệu mà nhóm Maketing quảng cáo hoặc thậm chí trì hoãn việc giải phóng (bỏ qua) buggy feature. Trong suốt cuốn sách này, bạn sẽ học cách để trở thành ngƣời đi tìm kiếm sự hoàn hảo và phải chắc chắn rằng những lỗi được phát hiện sẽ được sửa, và sẽ có những bài thực hành thực tế cho bạn kiểm thử. Đừng có tìm kiếm đƣờng xoắn ốc nguy hiểm của sự hoàn hảo không thể có thật (Don't get caught in the dangerous spiral of unattainable perfection).
1.6. Những tố chất nào tạo nên một tester tốt?
Trong đoạn phim Star Trek II: The Wrath of Khan, Spock nói rằng: “Là một vấn đề của lịch sử vũ trụ, phá hủy bao giờ cũng dễ hơn kiến tạo” (“As a matter of cosmic history, it has always been easier to destroy than to create”). Mới nhìn qua, có thể mọi ngƣời sẽ nghĩ công việc của một tester là đơn giản hơn so với công việc của một lập trình viên. Phát hiện ra những lỗi lập trình chắc chắn là dễ hơn so với viết code. Nhƣng thật ngạc nhiên, điều đó lại không đúng. Cách tiếp cận rất bài bản và có kỷ luận với phần mềm mà bạn sẽ tìm hiểu trong cuốn sách này yêu cầu bạn phải cống hiến và làm việc một cách chăm chỉ chẳng kém gì một lập trình viên. Hai công việc đều phải sử dụng rất nhiều kỹ năng tƣơng tự nhau, và mặc dù kiểm thử phần mềm không nhất thiết phải cần là một lập trình viên chuyên nghiệp, nhƣng họ lại tạo ra những khoản lợi nhuận lớn.
Ngày nay, hầu hết những công ty đã trƣờng thành đều coi kiểm thử phần mềm nhƣ công việc của một kỹ sƣ kỹ thuật. Họ thừa nhận rằng phải đào tạo các tester trong các đội dự án của họ và cho phép họ áp dụng các kỹ thuật vào quá trình phát triển phần mềm để xây dựng được một phần mềm có chất lƣợng tốt hơn. Thật không may, vẫn có một vài công ty không đánh giá đúng nhiệm vụ khó khăn của quá trình kiểm thử và giá trị của những lỗ lực kiểm thử rất bền bỉ. Với sự giao thiệp trong thị trƣờng tự do, có những công ty thƣờng nổi bật hơn hẳn, bởi vì khách hàng thì thƣờng nói rằng: không nên mua những sản phẩm có nhiều khiếm khuyết. Một tổ chức kiểm thử tốt (hoặc thiếu một cái) có thể tạo nên hoặc phá hỏng một công ty.
Hãy nhìn vào danh sách những đặc điểm mà một tester nên có:
- Họ là những ngƣời thám hiểm: tester không sợ mạo hiểm khi ở trong những hoàn cảnh mà họ chƣa làm chủ được . Họ thích những khía cạnh mới của phần mềm, cài đặt nó trên máy của họ, và xem xét chuyện gì sẽ xảy ra.
- Họ là những ngƣời thợ sửa chữa: các tester làm rất tốt các công việc tính toán xem tại sao một số chức năng của phần mềm lại không làm việc. Họ rất thích những vấn đề khó giải quyết
- Họ rất nghiêm khắc: Các tester luôn phải thử nghiệm, họ có thể nhìn thấy một lỗi mà đã nhanh chóng biến mất hoặc là rất khó để tạo lại tình huống có lỗi đó. Đúng hơn là giải tán nó nhƣ một sự may mắn, họ sẽ cố gắng bằng mọi cách có thể để tìm ra nó.
- Họ luôn sáng tạo: việc kiểm thử những điều hiển nhiên, rõ ràng là không thể đủ với một tester. Công việc của họ cần những ý tƣởng sáng tạo và thậm chí là các cách tiếp cận mới mẻ để tìm kiếm lỗi (bug).
- Họ là những ngƣời cầu toàn: Họ cố gắng để đạt đến sự hoàn hảo, nhƣng họ cũng biết rằng điều đó là không thể đạt được và họ chấp nhận dừng quá trình kiểm thử khi họ thấy có thể.
- Họ sử dụng óc phán đoán rất tốt: tester cần đƣa ra những quyết định về những thứ mà họ sẽ phải kiểm tra, và ƣớc lƣợng quá trình kiểm tra sẽ diễn ra trong thời gian bao lâu, nếu nhƣ vấn đề mà họ tìm kiếm thật sự là một lỗi.
- Họ là những ngƣời rất khéo léo và thích ngoại giao: Tester luôn là ngƣời thông báo những tin tức xấu. Họ phải nói với lập trình viên những lỗi mà họ phát hiện. Một tester tốt sẽ biết cách để làm việc khéo léo và rất chuyện nghiệp, và họ cũng biết cách để làm việc với lập trình viên, những ngƣời không phải lúc nào cũng khéo léo và lịch thiệp.
- Họ là ngƣời biết cách thuyết phục ngƣời khác: các lỗi mà tester tìm thấy sẽ luôn được xem xét một cách đủ khắt khe để đảm bảo nó sẽ được sửa. Các tester cần chứng minh những luận điểm của họ rằng tại sao những lỗi mà họ phát hiện lại cần được sửa, và những lỗi này có thể gây ra những gì?
KIỂM THỬ PHẦN MỀM LÀ MỘT CÔNG VIỆC RẤT THÚ VỊ:
Một đặc điểm cơ bản của các tester là họ rất thích thú với những thứ bị hỏng. Họ sống là để tìm kiếm những sai lầm của các hệ thống khó nắm bắt. Họ toại nguyện khi phát hiện lỗi trong các chƣơng trình phức tạp. Họ thƣờng nhảy lên sung sƣớng vì điều đó.
Trong những nét đặc trưng này, nếu tester có một số kiến thức về lập trình phần mềm là một ƣu thế rất lớn. Bài này sẽ hiểu cách thức mà phần mềm đƣợc viết, nó đưa cho bạn một cách nhìn khác về nơi mà các lỗi phần mềm được tìm thấy. Vì vậy, bài này sẽ giúp bạn trở thành một tester làm việc có hiệu quả và gây ảnh hƣởng nhiều hơn. Có thể nó cũng giúp bạn phát triển các công cụ kiểm thử.
Cuối cùng, nếu bạn là một chuyên gia trong lĩnh vực không phải là về máy tính, thì sự hiểu biết của bạn có thể vô cùng giá trị để đội dự án phần mềm tạo ra đƣợc một sản phẩm mới. Hàng ngày, phần mềm đang được viết để làm mọi thứ. Sự hiểu biết của bạn về dạy học, nấu ăn, máy bay, y học hoặc bất cứ cái gì sẽ là sự trợ giúp đặc lực cho các lỗi đƣợc tìm thấy trong phần mềm về lĩnh vực đó.
1.7. Bảy nguyên tắc kiểm thử phần mềm
Một số nguyên tắc kiểm thử đã được đề nghị từ 40 năm về trƣớc và đã đưa ra một số phƣơng châm chung phổ biến cho kiểm thử phần mềm, bao gồm các nguyên tắc sau:
Nguyên tắc 1 – Kiểm thử đưa ra lỗi
Kiểm thử có thể cho thấy rằng phần mềm đang có lỗi, nhƣng không thể chứng minh rằng phần mềm không có lỗi. Kiểm thử làm giảm xác suất lỗi chƣa tìm thấy vẫn còn trong phần mềm, thậm chí là không còn lỗi nào, nó không phải là bằng chứng của sự chính xác.
Nguyên tắc 2 – Exhaustive testing is impossible
Kiểm thử mọi thứ (tất cả các tổ hợp của điều kiện input đầu vào) là không thể thực hiện được , trừ phi nó chỉ bao gồm một số trƣờng hợp bình thƣờng (ít trƣờng hợp tổ hợp thì có thể test toàn bộ được ). Thay vì kiểm thử toàn bộ, việc phân tích rủi ro và dựa trên sự mức độ ƣu tiên chúng ta có thể tập trung việc kiểm thử vào một số điểm cần thiết.
Nguyên tắc 3 – Kiểm thử sớm
Để tìm được bug sớm, các hoạt động kiểm thử nên được bắt đầu càng sớm càng tốt trong qui trình phát triển (vòng đời phát triển) phần mềm hoặc hệ thống, và nên tập trung vào các hoạt động đã định trƣớc.
Nguyên tắc 4 – Phân loại lỗi
Nỗ lực kiểm thử nên tập trung một cách cân đối vào mật độ lỗi dự kiến và lỗi phát hiện ra sau đó trong các mô-đun. Một số ít các mô-đun thƣờng chứa nhiều lỗi không phát hiện ra trong lúc kiểm thử trƣớc khi phát hành (release), hoặc chịu trách nhiệm cho hầu hết các lỗi hoạt động của phần mềm.
Để hiểu rõ hơn nguyên tắc này, ta cần xem xét 3 điều sau:
1. Nguyên tắc tổ gián: chỗ nào có 1 vài con gián thì ở đâu đó xung quanh nó sẽ có cả tổ gián -> có rất nhiều gián >>> chỗ nào có 1 vài con bug thì xung quanh, gần gần chỗ đó sẽ có nhiều bug.
2. Nguyên tắc 80/20: thông thƣờng 20% chức năng quan trọng trong một chƣơng trình có thể gây ra đến 80% tổng số bug phát hiện được trong chƣơng trình đó.
3. Exhaustive testing is impossible (nguyên tắc thứ 2): do đó cần phải ananlysis (phân tích) + priorities (tính toán mức độ ƣu tiên) để quyết định tập trung vào test chỗ nào.
=> Test kỹ chức năng quan trọng => found bug => test những gì liên quan + những chức năng gần nó để tìm ra bug nhiều hơn.
Nguyên tắc 5 – Nghịch lý thuốc trừ sâu
Nếu việc kiểm thử tƣơng tự nhau đƣợc lặp đi lặp lại nhiều lần, thì cuối cùng sẽ có một số trƣờng hợp kiểm thử (ca kiểm thử - test case) sẽ không còn tìm thấy bất kỳ lỗi nào mới. Để khắc phục "nghịch lý thuốc trừ sâu" này, các trƣờng hợp kiểm thử cần phải đƣợc xem xét và sửa đổi thƣờng xuyên, và cần phải viết các test case mới và khác nhau để thực hiện nhiều phần khác nhau của phần mềm hoặc hệ thống để tìm ra lỗi tiềm ẩn nhiều hơn nữa.
Nguyên tắc này giống nhƣ việc trừ sâu trong nông nghiệp, nếu chúng ta cứ phun một loại thuốc với nồng độ giống nhau trong một khoảng thời gian dài thì có một số con sâu sẽ quen dần và cuối cùng việc phun thuốc giống nhƣ là tắm chúng vậy (bị lờn thuốc) => lúc đó chúng ta không thể diệt sạch chúng được . Do vậy, để diệt sạch sâu một cách hiệu quả, ngƣời ta thƣờng thay đổi loại thuốc trừ sâu, mỗi loại chỉ dùng trong khoảng thời gian ngắn.
Nguyên tắc 6 – Kiểm thử theo các ngữ cảnh độc lập
Nguyên tắc này là việc testing phụ thuộc vào ngữ cảnh, test trong nhiều ngữ cảnh khác nhau.
Để hiểu rõ hơn chúng ta xem ví dụ sau:
Ví dụ, cũng với một chƣơng trình calculator có rất nhiều chức năng, nhƣng:
- Nếu test chƣơng trình này cho mẫu giáo thì chỉ cần test cộng trừ là OK
- Nếu test chƣơng trình này cho cấp 2 thì cộng trừ nhân chia
- Nếu test chƣơng trình này cho đại học thì tích phân, đạo hàm, v.v....
Nguyên tắc 7 – Sự sai lầm về việc không có lỗi
Việc tìm và sửa chữa lỗi sẽ không giúp được gì nếu hệ thống được xây dựng xong nhƣng không thể dùng được và không đáp ứng được nhu cầu và sự mong đợi của ngƣời dùng. (Nghĩa là nếu sau khi code, test rồi fix bug, làm đủ tất cả các trƣờng hợp và cuối cùng cho ra một sản phẩm không nhƣ mong đợi hoặc không đáp ứng được nhu cầu của khách hàng thì dự án phần mềm đó coi nhƣ thất bại mặc dù đã được test xong)
Đăng nhận xét