Начиная с 1992 года стихи Львовского публикуются в альманахах «Вавилон», «Авторник», вестнике современного искусства «Цирк Олимп», журналах «Арион», «Воздух», «Критическая масса». В 1996 году в серии «Библиотека молодой литературы» издательства «АРГО-РИСК» была выпущена дебютная книга стихов «Белый шум». Затем в 2004 выходит книга «Стихи о Родине», в 2008 году издательством «Новое литературное обозрение» в серии «Новая поэзия» была издана книга «Сamera rostrum», а в 2011 — сборник «Всё ненадолго». В переводах поэта опубликованы стихотворения Чарльза Буковски, Леонарда Коэна, Витаутаса Плиуры и др.
Львовский является также автором сборника «Три месяца второго года» («АРГО-РИСК», 2002), в который наряду со стихами и переводами вошли прозаические фрагменты; сборника коротких рассказов «Слово о цветах и собаках» («Новое литературное обозрение», 2003) и романа «Половина неба» (в соавторстве с Линор Горалик, "Иностранка", 2004). Стихи и проза Львовского переведены на английский, французский, итальянский, словенский, галисийский, грузинский и албанский языки.