Kinh nghiệm so sánh kinh nghiệm

Ảnh của ChocolateFrogs

Vài thập kỷ trước, nếu bạn muốn xây dựng một trải nghiệm tuyệt vời, bạn sẽ hít một hơi thật sâu, nhắm mắt lại và lẩm bẩm một lời cầu nguyện cho lời tiên tri đó: ruột của bạn.

Nhưng khi tổ tiên của chúng ta học cách khai thác sức mạnh của lửa, chúng ta cũng đã học cách khai thác sức mạnh của phép đo và phân tích. Chúng tôi không còn mò mẫm trong bóng tối nữa, tự hỏi Có ai thực sự đọc những email tôi gửi đi hai ngày một lần không? và tôi tự hỏi có bao nhiêu người đã thử tính năng mới mà chúng tôi đã khởi chạy. Chúng tôi chỉ đơn giản lao vào kho tàng số của chúng tôi và xuất hiện với câu trả lời.

Than ôi, mặc dù ánh sáng mới tìm thấy này, bóng tối tồn tại vẫn còn. Tôi nghe họ tranh luận trong hội trường của văn phòng, lẩm bẩm về đồ uống sau khi làm việc, gõ IN ALL CAPS trên các chủ đề bình luận sai lầm:

  • Có phải chúng ta chỉ làm điều này cho các số liệu?
  • Làm thế nào chúng ta có thể cân bằng việc tăng số lượng và làm một cái gì đó có ý nghĩa?
  • Và sở thích cá nhân của tôi: Bạn là người điều khiển dữ liệu hay bạn thực sự quan tâm đến trải nghiệm người dùng?

Ái chà! Lời buộc tội và lời buộc tội nóng!

Bạn muốn có một cuộc trò chuyện hữu ích về số liệu và kinh nghiệm tốt? Ở đây, những gì tôi đã học được.

Trước hết, hãy đóng khung công cụ khung hình như Kinh nghiệm so sánh kinh nghiệm.

Bên cạnh việc gợi lên những bộ phim kinh phí lớn đọ sức với hai siêu anh hùng cuồng nhiệt với nhau, việc đóng khung những thứ như số liệu của Hồi giáo so với kinh nghiệm là hoàn toàn sai lầm khi bắt đầu cuộc trò chuyện.

Nó giống như nói rằng ăn carbs so với ăn uống lành mạnh. Bạn có thể dẫn đầu với điều đó nếu bạn muốn bắt đầu với sự tín nhiệm trong một cuộc thảo luận về dinh dưỡng.

Khả năng đo lường công cụ cho bạn cái nhìn sâu sắc về những gì mọi người đang làm trong sản phẩm của bạn. Trừ khi bạn thích sống dưới một tảng đá, có nhiều thông tin hơn là một điều tốt. Chắc chắn, bạn cần có khả năng sắp xếp thông tin nào là quan trọng và thông tin là gì, nhưng lập luận rằng toàn bộ khái niệm có nhiều thông tin là xấu không thực sự là một vị trí có thể phòng thủ được. Số liệu không phải là nhân vật phản diện.

Hơn nữa, nếu bạn làm điều gì đó mà mọi người thấy có giá trị, điều đó hoàn toàn phù hợp với việc làm cho số liệu thành công của bạn tăng lên. Bạn có thể thực sự tranh luận rằng bạn đã làm một cái gì đó tốt hơn nếu không có gì thay đổi với cách mọi người sử dụng sản phẩm của bạn. Ngược lại, nếu bạn thực hiện thay đổi và mọi người bắt đầu sử dụng sản phẩm của bạn ít hơn, tôi không quan tâm đến những gì bạn đã làm, nhưng bằng chứng khá rõ ràng là bạn đã làm hỏng điều gì đó.

Cuối cùng, lý do thứ ba là rất có giá trị là chúng giúp tập hợp một nhóm xung quanh một cái gì đó rõ ràng và hữu hình mà họ có thể tự chịu trách nhiệm. Từ góc độ hậu cần thuần túy, thật khó để có 50 người thực hiện nhiệm vụ như Hồi tạo ra một trải nghiệm siêu tuyệt vời! Chắc chắn, mọi người có thể giơ nắm đấm lên không trung sau bài phát biểu và la hét của bạn Một trải nghiệm siêu tuyệt vời! Đó là những gì chúng tôi đã làm sau đó! Tuy nhiên, khi nó Thứ hai và Đội A xuất hiện tất cả sự phấn khích và nói rằng Hãy kiểm tra điều này! Chúng tôi đã tạo ra một trải nghiệm siêu tuyệt vời! Phản ứng của đội và đội Bẻ là của Um Um, không, đó thực sự là chuyện tào lao, Chuyện gì xảy ra? Ai đúng? Làm thế nào để bạn xác định một cách nhất quán và rõ ràng một trải nghiệm siêu tuyệt vời là gì?

Một cách để giải quyết điều này là hệ thống phân cấp. Bạn có thể biểu thị một cá nhân cụ thể (hoặc một nấc thang của các cá nhân) tại công ty để trở thành giám khảo của chất lượng cao hoặc là gì. Nếu bạn muốn phân cấp ít hơn, một phương pháp khác là xác định mục tiêu có thể đo lường được: Một trải nghiệm siêu chất lượng cao có nghĩa là 50% những người dùng thử tính năng này sẽ quay lại và sử dụng lại trong tuần. A, Đội B và mọi người khác biết chính xác những gì họ đang quay và ngày nào họ ở gần nó.

Vì vậy, để tóm tắt, số liệu rất hữu ích và ở mức độ cao, số liệu và trải nghiệm người dùng không bị khóa trong cuộc đấu tranh vĩnh cửu với nhau. Hãy chắc chắn rằng bạn không nói những điều ngụ ý rằng chúng là.

Chắc chắn, những điều tồi tệ đã được thực hiện dưới danh nghĩa cải thiện số liệu.

Cũng giống như cách bạn có thể ăn quá nhiều bánh rán chứa đầy thạch và cho carbs một tên xấu, do đó, các số liệu cũng có thể được sử dụng để biện minh cho các quyết định kém. Điều này có thể xảy ra bởi vì không phải mọi thứ bạn có thể đo đều đáng để đo lường hoặc ảnh hưởng. Điều này cũng có thể xảy ra bởi vì bạn không có được câu chuyện đầy đủ bằng cách nhìn vào một số liệu duy nhất. Thông thường, bạn cần có một bộ số liệu để có được một bức tranh thực sự tốt về những gì thực sự xảy ra.

Nếu bạn tình cờ chọn sai thứ cần đo và cố gắng di chuyển, cuối cùng bạn có thể làm điều gì đó mà thực sự có hại cho mọi người về kinh nghiệm của con người. Quan sát một số ví dụ:

a) Ban đầu, tỷ lệ nhấp của câu chuyện này là 2%. Khi chúng tôi thực hiện thay đổi này, tỷ lệ nhấp đã tăng lên tới 5% Hoan hô!

Vấn đề gì? Tỷ lệ nhấp vào câu chuyện không cho chúng ta biết đủ về trải nghiệm có thực sự tốt hơn không. Điều gì sẽ xảy ra nếu tôi thay đổi tất cả các liên kết trên trang web của mình thành nhấp vào đây để kiếm $ 250 đô la? Chúa ơi, tỷ lệ nhấp sẽ tăng lên! Nhưng cuối cùng, mọi người sẽ nhận ra rằng tôi không thực sự cho họ 250 đô la, và sau đó họ sẽ nổi giận. Họ sẽ ngừng nhấp vào liên kết của tôi, gỡ cài đặt ứng dụng của tôi và cho tôi đánh giá 1 sao trong cửa hàng ứng dụng trong khi viết FUUUUUUU - trong tất cả các chữ hoa. Kinh doanh của tôi thất bại, và cuộc sống của tôi hút. Kết thúc.

b) Người dân thường sử dụng 5 phút cho ứng dụng của tôi. Bây giờ, sau khi ra mắt tính năng mới nhất của tôi, họ chỉ mất 3 phút. Uh-oh.

Vấn đề gì? Thời gian dành cho ứng dụng của bạn có thực sự là một số liệu quan trọng để bạn theo dõi không? Nó phụ thuộc. Nếu bạn là một điểm đến nội dung, thì có khả năng là có - lý do bạn tồn tại là mang đến cho mọi người những điều tuyệt vời để đọc / xem / nghe, vì vậy họ càng dành nhiều thời gian, thì càng có nhiều khả năng họ đang tìm thấy những gì bạn cung cấp có giá trị . Nếu ứng dụng của bạn là một tiện ích, như giúp mọi người ký các tài liệu kỹ thuật số thì không. Bạn nên theo dõi một số số liệu khác, như số lần ứng dụng của bạn thực sự được sử dụng để giúp mọi người ký các tài liệu. Trên thực tế, mọi người có thể yêu thích thực tế là bây giờ họ có thể ký các tài liệu của mình nhanh hơn, theo thời gian sẽ tương quan với việc sử dụng dịch vụ của bạn nhiều hơn.

c) Ban đầu, nhiều người đã sử dụng ứng dụng ảnh mèo của chúng tôi ở Illinois, nhưng bây giờ chúng tôi có nhiều người sử dụng nó hơn ở Ohio.

Vấn đề gì? Câu chuyện hay, anh bạn. Không quan trọng, và là một số liệu bạn cần chú ý hoặc cố gắng ảnh hưởng.

Chắc chắn, có những điều quan trọng chúng ta có thể đo lường dễ dàng hoặc chính xác.

Nếu chúng ta có thể đọc được suy nghĩ của người dùng, thì về lý thuyết chúng ta có thể thiết kế trải nghiệm hoàn hảo cho họ. Thật không may, chúng tôi không phải là tất cả Jean Grays, vì vậy chúng tôi thực hiện nhờ những gì chúng tôi có thể đo lường để thử và đưa ra những phỏng đoán có giáo dục về những gì mọi người quan tâm. Trong thời đại ngày nay, những gì chúng ta có thể đo lường đều có giới hạn của nó, và điều quan trọng là luôn luôn nhớ điều đó. Chỉ cần nhìn vào những gì mọi người đang làm trong sản phẩm của bạn, có thể nói với bạn:

  • mức độ mà mọi người yêu thích, ghét hoặc thờ ơ với sản phẩm của bạn hoặc bất kỳ tính năng cụ thể nào của nó
  • liệu một sự thay đổi làm tăng hay giảm người tin tưởng vào sản phẩm của bạn theo thời gian
  • Làm thế nào đơn giản và dễ sử dụng sản phẩm của bạn được coi là
  • Mọi người thấy sản phẩm của bạn như thế nào so với các sản phẩm tương tự khác trên thị trường
  • những điều mọi người muốn thay đổi, thêm hoặc sửa
  • mọi người sẽ muốn sử dụng sản phẩm của bạn như thế nào khi thời gian trôi qua

Một số trong những điều bạn có thể cố gắng thực hiện với nghiên cứu định tính hoặc khảo sát và thăm dò ý kiến, nhưng không có phương pháp nào là hoàn hảo (hãy nhớ các cuộc thăm dò dự đoán Brexit?) Và ngay cả trong trường hợp bạn có thể đo lường chính xác tình cảm rộng rãi (như niềm tin thương hiệu), thật khó để biết những thay đổi cụ thể có ảnh hưởng gì (ví dụ: logo hoặc thiết kế lại trực quan đó có cải thiện nhận thức của mọi người về thương hiệu của tôi không?)

Không thể đo lường chính xác các điều trên có nghĩa là có những trường hợp số liệu làm chúng tôi thất bại. Quan sát các ví dụ sau:

  1. Hiểu về chi phí phức tạp: mỗi lần bạn thêm một tính năng mới vào ứng dụng của mình, có thể các số liệu bạn đang theo dõi sẽ tăng lên tích cực (sau tất cả, trước khi không ai sử dụng X, và bây giờ nhiều người sử dụng X hơn và mọi người không sử dụng dường như đang sử dụng Y hoặc Z ít hơn, vì vậy, nhìn chung, cảm giác này giống như một chiến thắng.) Tuy nhiên, nếu bạn tiếp tục thêm các tính năng, đến một lúc nào đó, bạn sẽ kết thúc với những gì được coi là một sản phẩm lộn xộn và bồng bềnh. Sau đó, đột nhiên, một số đối thủ cạnh tranh mới sáng chói sẽ có được lực kéo nhanh bởi vì tất cả mọi người đều thích như tôi yêu Q! Nó chỉ đơn giản như vậy thôi. Nghịch lý của sự lựa chọn và chi phí cho sự phức tạp về nhận thức là có thật. Chúng tôi chỉ thiên đường tìm ra cách đo chính xác chúng.
  2. Hiểu được sức mạnh của thương hiệu: khi Apple hoặc Nike ra mắt một sản phẩm mới, rất nhiều người có xu hướng mua nó, ngay cả khi không thực hiện nghiên cứu của họ, bởi vì họ đã có một trải nghiệm tuyệt vời với thương hiệu đó trong quá khứ. Điều tương tự sẽ không đúng nếu một số sản phẩm mới nổi có tên Pear hoặc Sike xuất hiện trên thị trường với một sản phẩm tương đương. Ở cấp độ cao, tất cả chúng ta đều biết và hiểu điều này. Tuy nhiên, nó khó có thể định lượng sức mạnh của thương hiệu và biến nó thành một con số có thể được theo dõi mỗi ngày. Thật khó để biết làm thế nào tất cả hàng ngàn quyết định của một công ty tạo ra tác động đến thương hiệu đó, và chi phí và lợi ích là gì khi cân nhắc những sự đánh đổi đó.
  3. Sức mạnh của cá cược lớn: không có số liệu nào có thể cho bạn biết những nét táo bạo cần thiết để giành chiến thắng trong tương lai là gì. Hãy tưởng tượng năm 2008, khi điện thoại thông minh mới bắt đầu xuất hiện. Nếu bạn nhìn vào số liệu cho trang web của mình, bạn sẽ thấy một lượng nhỏ lưu lượng truy cập đến từ điện thoại thông minh. Rất có thể bạn đã kết luận rằng, thực tế, bạn không nên thực sự đầu tư quá nhiều vào việc xây dựng cho thiết bị di động vì nó là một phần nhỏ trong số khán giả của bạn. Hôm nay, chúng tôi nhận ra tầm nhìn và tầm nhìn xa của những người đã đặt cược lớn vào thiết bị di động và gặt hái những phần thưởng lớn. Không kiểm tra hành vi hiện tại có thể cho biết chính xác cách bạn cần nhảy. Chiến lược, lập kế hoạch dài hạn vẫn đòi hỏi nhiều điều tương tự như nó luôn làm: tin vào ruột của bạn.

Một số quy tắc về vệ sinh số liệu tốt:

Đây là một số trong những bài học lớn nhất của tôi trong nỗ lực trở nên ngày càng kỷ luật hơn về các chiến thuật thiết lập và đo lường mục tiêu tốt.

  • Để đánh giá sự phù hợp với thị trường sản phẩm, hãy nhìn vào duy trì. Đừng nhìn vào số lượng người sử dụng sản phẩm hoặc tính năng của bạn (có thể bị sai lệch bởi những thứ như bạn quảng cáo mạnh mẽ như thế nào.) Duy trì tương quan tốt nhất với việc sản phẩm của bạn có giá trị hay không bởi vì những người đã dùng thử nó có đủ không để trở lại và sử dụng nó một lần nữa.
  • Để tối ưu hóa cho sự tăng trưởng, hãy hiểu kênh của bạn. Để mọi người trở thành người dùng thường xuyên của sản phẩm của bạn, họ phải vượt qua một loạt các rào cản. Đầu tiên, họ phải nhận thức được sản phẩm của bạn. Thứ hai, họ phải đủ quan tâm để kiểm tra nó. Thứ ba, họ phải chuyển đổi (tải xuống một ứng dụng, điền vào biểu mẫu, xác nhận e-mail, v.v.) Thứ tư, họ phải làm đủ trong sản phẩm của bạn để hiểu tại sao nó có thể có giá trị trong cuộc sống của họ. Thứ năm, họ phải nhớ quay lại. Ở mỗi bước này, bạn sẽ mất người. Nếu bạn có thể theo dõi và đo lường mức độ tổn thất đó là gì, thì bạn có thể bắt đầu tìm ra nơi tập trung nỗ lực của mình để làm cho kênh của bạn ít bị rò rỉ.
  • Chỉ ra số liệu nào thực sự quan trọng và tập trung vào những số liệu đó. Nó hấp dẫn để vào trạng thái nơi bạn theo dõi mọi thứ (vì bạn có thể) và bạn có một bảng điều khiển chứa đầy những con số mà tất cả đều cảm thấy như chúng nên có màu xanh. Nhận ra rằng hầu hết mọi thứ đều không quan trọng, và chỉ một số ít thực sự làm được. Don lồng lãng phí thời gian để nói về những thứ không quan trọng, và don mồ hôi cho phép một số số liệu ít quan trọng tăng hoặc giảm.
  • Để tìm ra số liệu tốt nhất để theo dõi, hãy sử dụng kỹ thuật cây đũa thần. Hãy tự hỏi mình: Nếu tôi có thể vung đũa thần và biết bất cứ điều gì về người dùng của mình trên thế giới, tôi muốn biết điều gì nhất cho tôi biết liệu ứng dụng của tôi có thành công không? (Ứng dụng của tôi có gợi ý các đề xuất mà người dùng của tôi thấy có giá trị không?), Đây là điểm khởi đầu hữu ích để làm việc. (Vay Okay, vì vậy tôi không thể hỏi mọi người dùng nếu recs có giá trị nhưng nếu nó có giá trị, tôi có thể thấy họ tiết kiệm hoặc chia sẻ recs nhiều hơn và họ có thể dành nhiều thời gian hơn để đọc recs, và v.v. , v.v.
  • Donith chỉ chấp nhận một mục tiêu số liệu mà không hiểu nó. Tôi có thể nhấn mạnh điều này đủ: các mục tiêu mà bạn và nhóm của bạn đồng ý sẽ có tác động lớn đến công việc của bạn, vì vậy hãy chắc chắn rằng bạn mua chúng. Không chấp nhận mục tiêu số liệu theo mệnh giá. Hỏi tại sao. Suy ngẫm xem họ có ý nghĩa hay không, và những hành vi nào họ sẽ khuyến khích. Có những tình huống mà một cái gì đó sẽ cảm thấy như một quyết định tốt nhưng số liệu không di chuyển? Ngược lại, có những tình huống mà bạn có thể tưởng tượng số liệu tăng lên rất nhiều nhưng không tin rằng sản phẩm thực sự tốt hơn? Nếu vậy, liệu một số liệu khác (hoặc bộ số liệu) sẽ làm tốt hơn việc theo dõi những gì thực sự quan trọng?
  • Xem dữ liệu một cách hoài nghi bằng cách đề xuất đối xứng. Nếu dữ liệu đang cho bạn thấy kết quả tốt như thế nào, hãy tự hỏi: Tử Tôi có thể nhìn vào điều gì khác để thuyết phục tôi rằng những kết quả này không tốt như chúng có vẻ như vậy? . (Ví dụ: không nhìn vào tỷ lệ nhấp mà không nhìn vào số lần trả lại nhanh, đừng nhìn vào số lượng bán của sản phẩm mà không cần xem có bao nhiêu lần trả lại hoặc hủy, v.v.) tốt hơn là hoang tưởng về việc diễn giải dữ liệu để bạn có thể nhanh chóng bắt lỗi và điều chỉnh chiến lược của mình. Don Tiết rơi vào cái bẫy của sự thiên vị xác nhận nơi bạn chỉ đang tìm kiếm những tín hiệu chứng minh trực giác của mình là đúng.
  • Sử dụng nghiên cứu định tính để có được tại sao. Dữ liệu định lượng cho bạn biết những gì mọi người đã làm được kết hợp tốt nhất với nghiên cứu định tính cung cấp cho bạn cái nhìn sâu sắc về cách mọi người cảm nhận. Tiến hành kiểm tra khả năng sử dụng, sử dụng các nhóm tập trung và chạy khảo sát để biết lý do tại sao đằng sau hành vi mà bạn thấy.

Bây giờ hãy tiếp tục và hiểu biết về dữ liệu của bạn để tạo trải nghiệm tốt hơn cho mọi người ở mọi nơi.

Quan tâm đến việc đặt câu hỏi hoặc theo dõi để được tư vấn thêm? Đăng ký nhận thư hàng tuần của tôi.

Những bài viết liên quan:

Sự đau khổ và xuất thần của việc xây dựng dữ liệu

Số liệu, một câu chuyện

Chất lượng không phải là sự đánh đổi

Thuế mới

Hai cách xây dựng