@kieferrm 有一个想法,我们将使用 Copilot 来描述当前状态和可以采取的行动,以便屏幕阅读器用户。想象一下我们现在使用上下文帮助对话框的方式,但提供更多的信息。
在考虑这个问题时,我想知道我们是否可以有一个命令来描述当前的状况/概览。例如,如果用户不确定焦点去了哪里或者某事没有按预期工作,它可能会说:“有两个编辑器组打开。第一个有 bash 终端,第二个有 4 个 typescript 文件。扩展视图处于聚焦状态,包含 3 个建议重新加载窗口的扩展。”这样可以节省时间,否则用户必须在整个工作台寻找这些信息。
@jooyoungseo, @rperez030 请告诉我们您对这些想法的看法。
我们需要考虑的一个问题是,这种内容应该使用 Copilot 语音阅读还是以可访问的视图呈现?我认为后者更合适。
9条答案
按热度按时间9rbhqvlz1#
这听起来是一个非常强大的想法。我最初的想法是,这应该成为可访问视图的一部分,因为并非每个人都能访问Github的copilot,这是一个付费产品,但copilot会更有意义,因为它将允许用户提出更具体的问题,例如,告诉我更多关于TypeScript文件的信息,或者“如何关闭那个终端?”。如果在此基础上,copilot能够代表用户在编辑器上执行操作......结合语音功能,我们将拥有一个强大的助手,可以在许多情况下帮助多个用户群体。
9cbw7uwe2#
我将投票支持Copilot语音,而不是可访问视图,这样我们就可以为用户提供一个清晰的提示,以便他们能够区分可访问视图中的其他文本信息。
xjreopfe3#
@meganrogge 我会投票给Copilot语音,而不是可访问视图,这样我们可以为用户提供一个清晰的提示,以便区分可访问视图中的其他文本信息。
对于盲人用户呢?GitHub Copilot语音是否对无法访问GitHub Copilot的用户可用?是否有可能使用屏幕阅读器与来自Copilot语音的消息进行交互?
就我个人而言,我还没有尝试过Copilot语音。
im9ewurl4#
这是一个非常好的观点@rperez030。我不确定,但希望Copilot Voice已经与盲文设备一起工作了。@bpasero你知道这个吗?
vjhs03f75#
盲文支持实际上是一个屏幕阅读器功能。我对copilot语音不太了解。如果它只是一种语音体验,那么它与盲文一起工作可能没有意义,但然后通过copilot语音提供的所有功能也应该可以通过copilot聊天提供。
t2a7ltrp6#
@meganrogge can you clarify what you are asking me? Today the
vscode-speech
extension provides the capability of transcribing voice to text and fill it into the Copilot chat input boxes. We have not explored any further capabilities such as speaking text back to the user, though that is a feature that the underlying speech library is providing. Maybe check out https://learn.microsoft.com/en-us/azure/ai-services/speech-service/speech-sdk if that helps.I miss some context on what it would mean to support braille from the extension, maybe someone can clarify for me.
rnmwe5a27#
我感到困惑。我认为Copilot Voice允许向用户朗读文本。
你分享的链接看起来正是我想要使用的,谢谢。
因此,用户会触发帮助命令,我们会请求Copilot描述地形,然后我们会使用该库将响应大声朗读出来。我们必须看看该库是否与盲文集成。如果没有,我猜想我们会想要
alert
那份文本,所以需要像我一样设置一个选项,因为我担心这会如何与屏幕阅读器互动。pzfprimi8#
阅读文本的能力目前不是从库或扩展中暴露出来的,但我认为可以添加:
$x_{1e0f1}x$
$x_{1e1f1}x$
lrl1mhuk9#
在团队通话中,@rperez030 使用 NVDA 扩展来了解这个地形:
"这张图片似乎是在线视频会议通话界面的截图。会议中有四个参与者显示,每个都有一个不同的视频或个人头像和名称显示。
从窗口的左上角开始,你可以看到一排各种图标和当前通话的持续时间,即 03:35。在通话持续时间旁边,有参与视频会议通话的选项,如聊天、人员(用数字表示通话中有 4 个人),举手、React、查看选项、笔记、白板、应用程序和更多选项。有一个显眼的红色“离开”按钮,表示退出通话的选项。
在界面的主要区域,有四个参与者:
重要的是要指出,这里提到的所有名称和任何描述的特征都来自于截图的视觉内容,并不违反隐私规则。视频会议界面本身与 Microsoft Teams 或类似的应用程序非常相似。"