Nhận dạng phác thảo là một phân đoạn và giải thích các bản phác thảo bằng máy tính theo cách giống như con người. Không giống như các giao diện dựa trên bút vẽ đơn giản, chỉ xem đầu vào của bút như một tập hợp các tọa độ của điểm mực, giao diện thông minh dựa trên phác thảo có thể diễn giải các bản phác thảo vẽ tay. Một phân đoạn giao diện thông minh dựa trên bản phác thảo sử dụng các bản phác thảo thành các phần có ý nghĩa và gắn nhãn cho từng phân đoạn làm đối tượng. Ví dụ, trong một trình mô phỏng mạch thông minh dựa trên bản phác thảo, giao diện nhận sơ đồ mạch điện làm đầu vào, phân đoạn bản phác thảo thành các phần tử mạch và gắn nhãn cho từng phân đoạn. Các kết quả nhận dạng sau đó có thể được đưa đến một trình mô phỏng mạch kệ để hiển thị hành vi mạch. Giao diện cung cấp cho người dùng phản hồi nhận dạng trên nhãn của từng phân đoạn phác thảo. Giao diện dựa trên phác thảo sử dụng nhiều chiến lược phản hồi để chỉ ra kết quả nhận dạng. Chiến lược phổ biến nhất là thay thế các đoạn phác thảo bằng một phiên bản đã được công nhận của đối tượng được dự định.

Nhận dạng sai phác thảo là ghi nhãn không chính xác của một đoạn phác thảo, chẳng hạn như ghi nhãn phần tử tụ điện trên sơ đồ mạch sơ đồ dưới dạng pin. Trong các hệ thống nhận dạng phác thảo hiện tại, người dùng thường xử lý các nhận dạng sai này bằng cách xóa phản hồi nhận dạng sai và làm lại bản phác thảo hoặc thực hiện bất kỳ bước nào khác để có được phản hồi nhận dạng phác thảo chính xác. Những bước bổ sung này gây lãng phí thời gian và ảnh hưởng tới hiệu quả.

Trong công nghệ này, một tập hợp các tính năng dựa trên cái nhìn, được thiết kế để nắm bắt các đặc tính định tính của hành vi nhìn bằng mắt của người dùng được sử dụng.